Meta 推出 SeamlessM4T,一种用于语音和文本翻译的多模式 AI 模型。

Meta推出SeamlessM4T,一种用于语音和文本翻译的多模式AI模型。Meta周二发布了,这是一个新的多模式和多语言AI​​翻译模型,可以让说不同语言的人更有效地进行交流。M4T可以进行多达100种语言的语音到文本、文本到语音、语音到语音、文本到文本翻译和语音识别。SeamlessM4T将使用研究许可证公开发布,以便研究人员和开发人员在此基础上开展工作。Meta还将公布SeamlessAlign的元数据,这是迄今为止最大的开放多模式翻译数据集,挖掘的语音和文本对齐总计达270,000小时。随着时间的推移,Meta将把这些翻译和转录方面的AI进展整合到Facebook、Instagram、WhatsApp、Messenger和Threads中。——、

相关推荐

封面图片

Meta推出新AI模型 可翻译近百种语言

Meta推出新AI模型可翻译近百种语言Facebook的母公司MetaPlatforms推出一款人工智能模型,能够翻译和转录数十种语言的语音,是实现跨语言实时交流工具的潜在基础。路透社报道,Meta星期二在一篇博客文章中表示,其SeamlessM4T模型可以支持近100种语言的文本和语音翻译,以及35种语言的语音到语音翻译。Meta总裁扎克伯格说,他设想这样的工具能够在元宇宙中促进来自全球各地用户之间的互动。博客文章中说,Meta将这个模型提供给公众用于非商业用途。Meta今年推出了一系列的AI模型,其中大部分是免费的。扎克伯格称,开放的AI生态系统对Meta更有利,因为公司通过有效的众包方式为其社交平台创建面向消费者的工具,比对模型的访问收费,获益更多。对于SeamlessM4T模型,Meta的研究人员在一篇研究论文中表示,他们从约400万小时的“原始音频”中收集了音频训练数据。这些音频源自公开可用的网络数据库,但未具体指明是哪个库。研究论文说,文本数据来自于去年创建的数据集,这些数据集从维基百科和相关网站中提取内容。

封面图片

Meta推出新的AI模型 可转录和翻译近百种语言

Meta推出新的AI模型可转录和翻译近百种语言SeamlessM4T是根据知识共享许可(CC)协议4.0发布的,允许研究人员对其进行迭代。除了SeamlessM4T,Meta还发布了其开放翻译数据集SeamlessAlign的元数据。Meta表示:“建立一个通用语言翻译器,例如像《银河系漫游指南》中虚构的巴别鱼那样,是具有挑战性的,因为现有的语音对语音和语音对文本系统只覆盖了世界语言的一小部分。”《银河系漫游指南》是由英国作家道格拉斯·亚当斯所写的一系列科幻小说,而巴别鱼是这部作品所创造的一种神奇生物,体型小到足以放进人的耳朵,靠接受脑电波为生。如果将巴别鱼放到耳朵里,人们可以理解任何语言。对于SeamlessM4T模型,Meta研究人员在一篇研究论文中表示,他们从400万小时的原始音频中收集了音频训练数据,这些音频来自一个公开的抓取网络数据存储库,但没有说明是哪个存储库。研究报告称,文本数据来自去年创建的数据集,这些数据集从维基百科和相关网站上提取了内容。Meta表示,SeamlessM4T代表了一个重大突破,因为这个模型可以一次性完成整个翻译任务,而不像其他大型翻译模型那样,将翻译分成不同的系统。SeamlessM4T建立在Meta之前的翻译模型之上。Meta去年发布了支持200种语言的文本到文本的翻译模型。它开发了用于多语言语音到语音翻译的数据集,以及用于语音识别的大规模多语言语音。Meta去年展示了它的通用语音翻译器,可将闽南语转化为英语。...PC版:https://www.cnbeta.com.tw/articles/soft/1378781.htm手机版:https://m.cnbeta.com.tw/view/1378781.htm

封面图片

AI通过宗教打通人类语言障碍:Meta 开源发布支持1100-4000种语言的语音技术

AI通过宗教打通人类语言障碍:Meta开源发布支持1100-4000种语言的语音技术MassivelyMultilingualSpeech(MMS)支持1107种语言的STT(语音转文本)和TTS(文本转语音),可识别4017种口头语言。模型和代码在CC-BY-NC4.0协议下开源,单词错误率只有OpenAIWhisper的一半。"现有的语音识别模型和语音数据集仅涵盖大约100种语言——地球已知7000多种语言的一小部分。更令人担忧的是,这些语言中将近一半可能会在我们有生之年消失。通过这项工作,我们希望为保护世界语言多样性做出一点贡献。"为收集数千种语言的音频数据Meta求助了《圣经》等宗教文本,这些文本已被翻译成了多种不同语言,并且已被广泛用于语言翻译研究,这些翻译的公开录音记录了人们用不同语言阅读这些文本的情况。通过1100多种语言的新约读物数据和4000多种其它基督宗教读物的无标签录音,Meta成功将语言覆盖扩展为了此前10倍。——频道:@TestFlightCN

封面图片

AI识别唇语:Meta 开源第一个视听语言翻译语料库 MuAViC

AI识别唇语:Meta开源第一个视听语言翻译语料库MuAViCMuAViC源数据来自TED和TEDx超过8000名演讲者的视频,提供了9种语言的1200小时的音频-视觉语料,包括英语、阿拉伯语、德语、希腊语语、西班牙语、法语、意大利语、葡萄牙语和俄语。MuAViC支持多种任务,如自动语音识别、唇读、机器翻译和端到端的语音到文本翻译。Meta的开源模型AV-HuBERT经过MuAViC训练后,在嘈杂环境中的表现远优于其它领先的翻译模型。投稿:@ZaiHuabot频道:@TestFlightCN

封面图片

Roblox借助LLM语言模型发布实时人工智能聊天翻译器

Roblox借助LLM语言模型发布实时人工智能聊天翻译器Roblox首席技术官丹-斯特曼(DanSturman)说,该翻译器的目标是让Roblox用户更容易理解对方在说什么,从而让他们在相互交流时感觉更舒适。翻译器会自动翻译聊天内容,但用户可以点击图标查看原始信息。"我们知道,当用户用自己的语言与他人交谈或互动时,参与度就会提高,"Sturman说。"我们借鉴了这一理念,并通过自动翻译消除了语言障碍。"Roblox首先建立了一个基于转换器的大型语言模型(LLM),该模型通过公开数据和内部数据进行训练。它将LLM置于一个专家混合(MoE)架构中,这是一个运行多个翻译应用程序的环境,每个应用程序都是一种语言的专家。Sturman说,考虑到他们项目的规模,他的团队认为建立自己的模型比修改现成的LLM更容易。斯图尔曼说,Roblox会监控聊天内容(出于信任和安全考虑),如果翻译不尽完美,可以得到反馈。他补充说,增加聊天翻译人工智能"不会改变我们的隐私和安全流程,违禁词语仍会被屏蔽"。Roblox在过去几年中一直在努力吸引较为年长的用户,并一直在使用生成式人工智能模型来增强用户体验。去年,它为开发者推出了一款人工智能聊天机器人助手,还能自动将图像资产(如建筑物上的文字)翻译成用户的默认语言。斯图尔曼希望翻译模式最终能超越单纯的文本聊天翻译。"未来,我们可以使用人工智能将不合规的[违禁]词语翻译成合规词语,或者将其用于语音聊天的实时语音翻译,还有很多可能性。"其他公司也在开发人工智能翻译模型。Meta发布了语音到文本和文本到文本的翻译器SeamlessM4T,可处理近100种语言。Google的通用语音模型也能翻译约100种语言,并已部署在YouTube上翻译字幕。...PC版:https://www.cnbeta.com.tw/articles/soft/1416349.htm手机版:https://m.cnbeta.com.tw/view/1416349.htm

封面图片

普通人也能成为音频剪辑师,Meta 推出 AI 模型 Voicebox

普通人也能成为音频剪辑师,Meta推出AI模型VoiceboxMeta继推出ImageBind之后,于今天再次推出了全新的生成式AI模型。该模型帮助创作者执行音频编辑、采样和风格化等语音生成任务,即便是普通用户也能轻松上手。Meta在介绍Voicebox模型时表示,视障人士可以听到好友的回复信息、普通用户可以用自己的语调、语气来说外语。AI模型本身可以生成高质量的音频剪辑,消除汽车喇叭等不必要的背景噪音,同时保留音频的内容和风格,同时使用多种语言,以六种语言生成语音。该模型的未来发展包括在元宇宙游戏中为视觉助理或非玩家角色提供自然的声音。Meta还比较了Voicebox和Vall-E、YourTTS等其它音频AI模型,表明Voicebox更先进,在比较单词错误率和样式相似性时优于两种模型。Voicebox仍在进行中,尚未向公众开放。Meta表示,它认识到这种AI可能会造成的潜在危害,并且正在研究一种有效的方法来区分Voicebox生成的真实语音和音频。来源,来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人