Meta 推出 SeamlessM4T，一种用于语音和文本翻译的多模式 AI 模型。

Meta推出SeamlessM4T，一种用于语音和文本翻译的多模式AI模型。Meta周二发布了，这是一个新的多模式和多语言AI​​翻译模型，可以让说不同语言的人更有效地进行交流。M4T可以进行多达100种语言的语音到文本、文本到语音、语音到语音、文本到文本翻译和语音识别。SeamlessM4T将使用研究许可证公开发布，以便研究人员和开发人员在此基础上开展工作。Meta还将公布SeamlessAlign的元数据，这是迄今为止最大的开放多模式翻译数据集，挖掘的语音和文本对齐总计达270,000小时。随着时间的推移，Meta将把这些翻译和转录方面的AI进展整合到Facebook、Instagram、WhatsApp、Messenger和Threads中。——、

Meta AI 新作品

MetaAI新作品-MassivelyMultilingualSpeech-为1,100多种语言推出语音转文本、文本转语音等功能，语言转文本的错误率只有Whisper的一半-为4000多种语言训练的语言识别模型，仅有6.1%的错误率-使用连接时序分类CTC的技术，而不是LLMs-今天已经公开模型和代码，以方便其他研究者使用-在wav2vec2.0的基础上构建-使用了一个巧妙的宗教语言数据集：-目前最大的语音数据集仅涵盖100种语言-但是圣经等宗教文本已经被翻译而且有公开的录音-我们创建了包含1100+语言的圣经新约数据集，每种语言32小时的数据-在纳入其他基督教读物的无标签录音后，将可用语言数量增加到4000+-录音以男性为主，但是模型的男女性声音表现同样出色-录音是宗教内容，但模型并没有过度偏向宗教语言（还是有一点）https://ai.facebook.com/blog/multilingual-model-speech-recognition/https://ai.facebook.com/blog/wav2vec-20-learning-the-structure-of-speech-from-raw-audio/

几千年前，《圣经旧约》记载，上帝为了阻止人类的巴别塔计划，上帝让人类说不同的语言，使人类相互之间不能沟通，计划因此失败，人类自此

几千年前，《圣经旧约》记载，上帝为了阻止人类的巴别塔计划，上帝让人类说不同的语言，使人类相互之间不能沟通，计划因此失败，人类自此各散东西。几千年后，人类运用《圣经新约》的文本和语音资料，做出了能让1000多种语言互通的AI模型。再过几千年，也许会成为一个从旧神到新神的历史传说。orange.ai: 这项研究的关键是使用了一个巧妙的宗教语言数据集：-目前最大的语音数据集仅涵盖100种语言-但是圣经等宗教文本已经被翻译而且有公开的录音-我们创建了包含1100+语言的圣经新约数据集，每种语言32小时的数据-在纳入其他基督教读物的无标签录音后，将可用语言数量增加到4000+

Meta推出新AI模型 可翻译近百种语言

Meta推出新AI模型可翻译近百种语言Facebook的母公司MetaPlatforms推出一款人工智能模型，能够翻译和转录数十种语言的语音，是实现跨语言实时交流工具的潜在基础。路透社报道，Meta星期二在一篇博客文章中表示，其SeamlessM4T模型可以支持近100种语言的文本和语音翻译，以及35种语言的语音到语音翻译。Meta总裁扎克伯格说，他设想这样的工具能够在元宇宙中促进来自全球各地用户之间的互动。博客文章中说，Meta将这个模型提供给公众用于非商业用途。Meta今年推出了一系列的AI模型，其中大部分是免费的。扎克伯格称，开放的AI生态系统对Meta更有利，因为公司通过有效的众包方式为其社交平台创建面向消费者的工具，比对模型的访问收费，获益更多。对于SeamlessM4T模型，Meta的研究人员在一篇研究论文中表示，他们从约400万小时的“原始音频”中收集了音频训练数据。这些音频源自公开可用的网络数据库，但未具体指明是哪个库。研究论文说，文本数据来自于去年创建的数据集，这些数据集从维基百科和相关网站中提取内容。

Meta推出新的AI模型 可转录和翻译近百种语言

Meta推出新的AI模型可转录和翻译近百种语言SeamlessM4T是根据知识共享许可（CC）协议4.0发布的，允许研究人员对其进行迭代。除了SeamlessM4T，Meta还发布了其开放翻译数据集SeamlessAlign的元数据。Meta表示：“建立一个通用语言翻译器，例如像《银河系漫游指南》中虚构的巴别鱼那样，是具有挑战性的，因为现有的语音对语音和语音对文本系统只覆盖了世界语言的一小部分。”《银河系漫游指南》是由英国作家道格拉斯·亚当斯所写的一系列科幻小说，而巴别鱼是这部作品所创造的一种神奇生物，体型小到足以放进人的耳朵，靠接受脑电波为生。如果将巴别鱼放到耳朵里，人们可以理解任何语言。对于SeamlessM4T模型，Meta研究人员在一篇研究论文中表示，他们从400万小时的原始音频中收集了音频训练数据，这些音频来自一个公开的抓取网络数据存储库，但没有说明是哪个存储库。研究报告称，文本数据来自去年创建的数据集，这些数据集从维基百科和相关网站上提取了内容。Meta表示，SeamlessM4T代表了一个重大突破，因为这个模型可以一次性完成整个翻译任务，而不像其他大型翻译模型那样，将翻译分成不同的系统。SeamlessM4T建立在Meta之前的翻译模型之上。Meta去年发布了支持200种语言的文本到文本的翻译模型。它开发了用于多语言语音到语音翻译的数据集，以及用于语音识别的大规模多语言语音。Meta去年展示了它的通用语音翻译器，可将闽南语转化为英语。...PC版：https://www.cnbeta.com.tw/articles/soft/1378781.htm手机版：https://m.cnbeta.com.tw/view/1378781.htm

AI识别唇语：Meta 开源第一个视听语言翻译语料库 MuAViC

AI识别唇语：Meta开源第一个视听语言翻译语料库MuAViCMuAViC源数据来自TED和TEDx超过8000名演讲者的视频，提供了9种语言的1200小时的音频-视觉语料，包括英语、阿拉伯语、德语、希腊语语、西班牙语、法语、意大利语、葡萄牙语和俄语。MuAViC支持多种任务，如自动语音识别、唇读、机器翻译和端到端的语音到文本翻译。Meta的开源模型AV-HuBERT经过MuAViC训练后，在嘈杂环境中的表现远优于其它领先的翻译模型。投稿：@ZaiHuabot频道：@TestFlightCN