Meta 推出 SeamlessM4T，一种用于语音和文本翻译的多模式 AI 模型。

Meta 推出 SeamlessM4T，一种用于语音和文本翻译的多模式 AI 模型。 Meta周二发布了 ，这是一个新的多模式和多语言 AI ​​翻译模型，可以让说不同语言的人更有效地进行交流。 M4T 可以进行多达 100 种语言的语音到文本、文本到语音、语音到语音、文本到文本翻译和语音识别。 SeamlessM4T将使用研究许可证公开发布，以便研究人员和开发人员在此基础上开展工作。 Meta还将公布 SeamlessAlign 的元数据，这是迄今为止最大的开放多模式翻译数据集，挖掘的语音和文本对齐总计达 270,000 小时。 随着时间的推移，Meta将把这些翻译和转录方面的 AI 进展整合到Facebook、Instagram、WhatsApp、Messenger和Threads中。 、

普通人也能成为音频剪辑师，Meta 推出 AI 模型 Voicebox

普通人也能成为音频剪辑师，Meta 推出 AI 模型 Voicebox Meta 继推出 ImageBind 之后，于今天再次推出了全新的生成式 AI 模型 。该模型帮助创作者执行音频编辑、采样和风格化等语音生成任务，即便是普通用户也能轻松上手。 Meta 在介绍 Voicebox 模型时表示，视障人士可以听到好友的回复信息、普通用户可以用自己的语调、语气来说外语。 AI 模型本身可以生成高质量的音频剪辑，消除汽车喇叭等不必要的背景噪音，同时保留音频的内容和风格，同时使用多种语言，以六种语言生成语音。该模型的未来发展包括在元宇宙游戏中为视觉助理或非玩家角色提供自然的声音。 Meta 还比较了 Voicebox 和 Vall-E、YourTTS 等其它音频 AI 模型，表明 Voicebox 更先进，在比较单词错误率和样式相似性时优于两种模型。 Voicebox 仍在进行中，尚未向公众开放。Meta 表示，它认识到这种 AI 可能会造成的潜在危害，并且正在研究一种有效的方法来区分 Voicebox 生成的真实语音和音频。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

AI识别唇语：Meta 开源第一个视听语言翻译语料库 MuAViC

AI识别唇语：Meta 开源第一个视听语言翻译语料库 MuAViC MuAViC 源数据来自 TED 和 TEDx 超过8000名演讲者的视频，提供了9种语言的1200小时的音频-视觉语料，包括英语、阿拉伯语、德语、希腊语语、西班牙语、法语、意大利语、葡萄牙语和俄语。 MuAViC 支持多种任务，如自动语音识别、唇读、机器翻译和端到端的语音到文本翻译。Meta 的开源模型 AV-HuBERT 经过 MuAViC 训练后，在嘈杂环境中的表现远优于其它领先的翻译模型。

【Meta联合英伟达推出新超算】 AI Research SuperCluster（RSC）将帮助该公司构建更好的 AI 模型，

【Meta联合英伟达推出新超算】 AI Research SuperCluster（RSC）将帮助该公司构建更好的 AI 模型，这些模型可以从数万亿个示例中学习，构建跨数百种语言的模型，并同时分析文本内容、图像和视频，确定内容是否有害。RSC 超算也可以用来开发新一代增强现实工具。 #抽屉IT

Meta前天推出了 Voicebox，一个全能语音生成模型，这是一个支持六种语言和多种语音处理功能的模型，功能包括

Meta前天推出了 Voicebox，一个全能语音生成模型，这是一个支持六种语言和多种语音处理功能的模型，功能包括 基于上下文的文本转语音合成 跨语言风格转换 跨语言风格转换 多样化的语音采样 详细的功能介绍和原理见评 ||

一个视频翻译工具，可将一种语言的翻译为另一种语言和配音的。 语音识别基于 openai-whisper 离线模型、文字翻

一个视频翻译工具，可将一种语言的视频翻译为另一种语言和配音的视频。 语音识别基于 openai-whisper 离线模型、文字翻译使用google翻译接口，文字合成语音使用 Microsoft Edge tts，背景音乐去除使用 Spleeter,无需购买任何商业接口，也无需付费 | #工具