Meta 推出 SeamlessM4T,一种用于语音和文本翻译的多模式 AI 模型。

Meta 推出 SeamlessM4T,一种用于语音和文本翻译的多模式 AI 模型。 Meta周二发布了 ,这是一个新的多模式和多语言 AI ​​翻译模型,可以让说不同语言的人更有效地进行交流。 M4T 可以进行多达 100 种语言的语音到文本、文本到语音、语音到语音、文本到文本翻译和语音识别。 SeamlessM4T将使用研究许可证公开发布,以便研究人员和开发人员在此基础上开展工作。 Meta还将公布 SeamlessAlign 的元数据,这是迄今为止最大的开放多模式翻译数据集,挖掘的语音和文本对齐总计达 270,000 小时。 随着时间的推移,Meta将把这些翻译和转录方面的 AI 进展整合到Facebook、Instagram、WhatsApp、Messenger和Threads中。 、

相关推荐

封面图片

:模块化语音助手应用,支持多种先进模型,用于实验语音转录、回复生成和文本到语音转换。

:模块化语音助手应用,支持多种先进模型,用于实验语音转录、回复生成和文本到语音转换。 集成OpenAI、Groq、ElevenLabs、CartesiaAI和Deepgram API,以及通过Ollama支持本地模型。适合语音技术研究和开发

封面图片

【跨语种“AI同传”震撼登场,Meta谷歌连发重大突破,颠覆语音翻译】Meta谷歌接连放出重磅成果!Meta开源无缝交流语音翻译

【跨语种“AI同传”震撼登场,Meta谷歌连发重大突破,颠覆语音翻译】Meta谷歌接连放出重磅成果!Meta开源无缝交流语音翻译模型,谷歌放出无监督语音翻译重大突破Translation 3。 #抽屉IT

封面图片

AI识别唇语:Meta 开源第一个视听语言翻译语料库 MuAViC

AI识别唇语:Meta 开源第一个视听语言翻译语料库 MuAViC MuAViC 源数据来自 TED 和 TEDx 超过8000名演讲者的视频,提供了9种语言的1200小时的音频-视觉语料,包括英语、阿拉伯语、德语、希腊语语、西班牙语、法语、意大利语、葡萄牙语和俄语。 MuAViC 支持多种任务,如自动语音识别、唇读、机器翻译和端到端的语音到文本翻译。Meta 的开源模型 AV-HuBERT 经过 MuAViC 训练后,在嘈杂环境中的表现远优于其它领先的翻译模型。

封面图片

Meta前天推出了 Voicebox,一个全能语音生成模型,这是一个支持六种语言和多种语音处理功能的模型,功能包括

Meta前天推出了 Voicebox,一个全能语音生成模型,这是一个支持六种语言和多种语音处理功能的模型,功能包括 基于上下文的文本转语音合成 跨语言风格转换 跨语言风格转换 多样化的语音采样 详细的功能介绍和原理见评 ||

封面图片

YouTube同声传译:字幕文本转语音TTS(适用于沉浸式翻译)

YouTube同声传译:字幕文本转语音TTS(适用于沉浸式翻译) 这是一个专为YouTube设计的油猴脚本,可以将沉浸式翻译生成的双语字幕自动转换为语音播放。将YouTube上的沉浸式翻译双语字幕转换为语音播放,支持更改音色和调整语音速度,支持多语言,自动检测并朗读沉浸式翻译生成的双语字幕,支持多种语言和音色。 智能语音队列管理,确保字幕朗读不重叠,新字幕出现时会等待当前语音播放完成 脚本地址:点击直达

封面图片

Hand Talk: 利用AI将语音和文字翻译为手语

Hand Talk: 利用AI将语音和文字翻译为手语 只需要输入文本或说话,Hand Talk应用会自动将其翻译成美国手语(ASL)或巴西手语(Libras)。 该应用被联合国选为“世界上最佳的社交应用”,目前已翻译了近20亿个单词。 Hand Talk的一些核心功能: 自动手语翻译 -文本和语音到手语:用户可以输入文本或说话,Hand Talk应用会自动将其翻译成美国手语(ASL)或巴西手语(Libras)。 -使用虚拟翻译者:通过虚拟角色Hugo和Maya进行动态手语翻译,让学习和交流更加互动和有趣。 学习和教育工具 -手语学习:应用不仅是一个翻译工具,也是一个学习平台,用户可以在实践中学习新 的手语。 -教室资源:作为教育资源,适用于教师、学生和口译人员,作为辅助交流工具。 个性化和互动 -保存和评价翻译:用户可以保存他们最喜欢的翻译,并对翻译进行评价。 -自定义虚拟翻译者:在应用的商店中,用户可以为Hugo和Maya选择不同的服装和背景,使交流更个性化。 离线访问:即使在没有网络的情况下,用户也可以访问他们保存的翻译,使得Hand Talk应用更加便捷。 多元化的使用环境: Hand Talk应用被广泛用于教室、家庭以及手语学习者之间,帮助提高词汇量和交流能力。 免费下载和使用: Hand Talk应用可以免费下载和使用,虽然也提供了去除广告的付费选项。 使用方式: 使用Hand Talk App非常简单。在主屏幕上,用户只需输入或录制想要查询的单词的音频,发送后不久Hugo或Maya就会用手语翻译你的句子。用户还可以通过屏幕底部的菜单探索应用的其他部分,如商店,以个性化地定制Hand Talk App。 |

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人