Meta前天推出了 Voicebox，一个全能语音生成模型，这是一个支持六种语言和多种语音处理功能的模型，功能包括

Meta前天推出了 Voicebox，一个全能语音生成模型，这是一个支持六种语言和多种语音处理功能的模型，功能包括 基于上下文的文本转语音合成 跨语言风格转换 跨语言风格转换 多样化的语音采样 详细的功能介绍和原理见评 ||

谷歌发布 Lyra V2 超低比特率语音编解码器，可在 56kbps 网速下语音聊天

谷歌发布 Lyra V2 超低比特率语音编解码器，可在 56kbps 网速下语音聊天 谷歌宣布了用于低比特率的 Lyra 语音编解码器，与开放的 AV1 编解码器相结合，可以在 56kbps 的网速下实现语音聊天。Lyra 利用机器学习和其它技术进行极低比特率的语音压缩，甚至可以在 3kbps 的速度下工作。谷歌去年开放了 Lyra 的代码。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Roblox借助LLM语言模型发布实时人工智能聊天翻译器

Roblox借助LLM语言模型发布实时人工智能聊天翻译器 Roblox 首席技术官丹-斯特曼（Dan Sturman）说，该翻译器的目标是让Roblox用户更容易理解对方在说什么，从而让他们在相互交流时感觉更舒适。翻译器会自动翻译聊天内容，但用户可以点击图标查看原始信息。"我们知道，当用户用自己的语言与他人交谈或互动时，参与度就会提高，"Sturman 说。"我们借鉴了这一理念，并通过自动翻译消除了语言障碍。"Roblox 首先建立了一个基于转换器的大型语言模型 (LLM)，该模型通过公开数据和内部数据进行训练。它将 LLM 置于一个专家混合（MoE）架构中，这是一个运行多个翻译应用程序的环境，每个应用程序都是一种语言的专家。Sturman 说，考虑到他们项目的规模，他的团队认为建立自己的模型比修改现成的 LLM 更容易。斯图尔曼说，Roblox 会监控聊天内容（出于信任和安全考虑），如果翻译不尽完美，可以得到反馈。他补充说，增加聊天翻译人工智能"不会改变我们的隐私和安全流程，违禁词语仍会被屏蔽"。Roblox 在过去几年中一直在努力吸引较为年长的用户，并一直在使用生成式人工智能模型来增强用户体验。去年，它为开发者推出了一款人工智能聊天机器人助手，还能自动将图像资产（如建筑物上的文字）翻译成用户的默认语言。斯图尔曼希望翻译模式最终能超越单纯的文本聊天翻译。"未来，我们可以使用人工智能将不合规的[违禁]词语翻译成合规词语，或者将其用于语音聊天的实时语音翻译，还有很多可能性。"其他公司也在开发人工智能翻译模型。Meta 发布了语音到文本和文本到文本的翻译器 SeamlessM4T，可处理近 100 种语言。Google的通用语音模型也能翻译约 100 种语言，并已部署在 YouTube 上翻译字幕。 ... PC版： 手机版：

AI识别唇语：Meta 开源第一个视听语言翻译语料库 MuAViC

AI识别唇语：Meta 开源第一个视听语言翻译语料库 MuAViC MuAViC 源数据来自 TED 和 TEDx 超过8000名演讲者的视频，提供了9种语言的1200小时的音频-视觉语料，包括英语、阿拉伯语、德语、希腊语语、西班牙语、法语、意大利语、葡萄牙语和俄语。 MuAViC 支持多种任务，如自动语音识别、唇读、机器翻译和端到端的语音到文本翻译。Meta 的开源模型 AV-HuBERT 经过 MuAViC 训练后，在嘈杂环境中的表现远优于其它领先的翻译模型。

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。 它不需要互联网连接或云服务支持。使用按钮触发录音，经过自动语音识别生成文本，然后由 TinyLlama-1.1B LLM 生成回复，并通过 eSpeak 语音合成器产生音频输出。

普通人也能成为音频剪辑师，Meta 推出 AI 模型 Voicebox

普通人也能成为音频剪辑师，Meta 推出 AI 模型 Voicebox Meta 继推出 ImageBind 之后，于今天再次推出了全新的生成式 AI 模型 。该模型帮助创作者执行音频编辑、采样和风格化等语音生成任务，即便是普通用户也能轻松上手。 Meta 在介绍 Voicebox 模型时表示，视障人士可以听到好友的回复信息、普通用户可以用自己的语调、语气来说外语。 AI 模型本身可以生成高质量的音频剪辑，消除汽车喇叭等不必要的背景噪音，同时保留音频的内容和风格，同时使用多种语言，以六种语言生成语音。该模型的未来发展包括在元宇宙游戏中为视觉助理或非玩家角色提供自然的声音。 Meta 还比较了 Voicebox 和 Vall-E、YourTTS 等其它音频 AI 模型，表明 Voicebox 更先进，在比较单词错误率和样式相似性时优于两种模型。 Voicebox 仍在进行中，尚未向公众开放。Meta 表示，它认识到这种 AI 可能会造成的潜在危害，并且正在研究一种有效的方法来区分 Voicebox 生成的真实语音和音频。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot