Meta 推出 SeamlessM4T，一种用于语音和文本翻译的多模式 AI 模型。

Meta 推出 SeamlessM4T，一种用于语音和文本翻译的多模式 AI 模型。 Meta周二发布了 ，这是一个新的多模式和多语言 AI ​​翻译模型，可以让说不同语言的人更有效地进行交流。 M4T 可以进行多达 100 种语言的语音到文本、文本到语音、语音到语音、文本到文本翻译和语音识别。 SeamlessM4T将使用研究许可证公开发布，以便研究人员和开发人员在此基础上开展工作。 Meta还将公布 SeamlessAlign 的元数据，这是迄今为止最大的开放多模式翻译数据集，挖掘的语音和文本对齐总计达 270,000 小时。 随着时间的推移，Meta将把这些翻译和转录方面的 AI 进展整合到Facebook、Instagram、WhatsApp、Messenger和Threads中。 、

OpenAI公布其语音生成模型：Voice Engine

OpenAI公布其语音生成模型：Voice Engine 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。

OpenAI公布其语音生成模型：

OpenAI公布其语音生成模型： 根据文本输入和一个15秒的音频样本，就能生成接近原始说话者声音的自然听起来的语音。 Voice Engine最初于2022年底开发，并已经提供给包括Heygen在内的少数公司进行测试性使用。 主要功能 1、自然听起来的语音生成：利用单个15秒的音频样本，Voice Engine能够创造出既情感丰富又真实的语音，显著提升合成语音的自然度和真实感。 2、支持多种用途：从教育援助、内容翻译、提高偏远地区服务质量，到支持非语言人士和帮助患者恢复声音，Voice Engine的应用场景广泛，跨越多个行业。 3、语言和口音的保留：在内容翻译时，Voice Engine能够保留原始发言者的本地口音，使得翻译后的语音不仅流利还能保持原声音的特色。 4、多语种支持：能够生成多种语言的语音输出，适应全球化需求，特别是对于需要将内容本地化到不同语言市场的企业和内容创作者来说，这一特点尤为重要。

自动生成视频字幕并进行翻译，用语音合成实现配音，再利用字幕时间实现音画同步

自动生成视频字幕并进行翻译，用语音合成实现配音，再利用字幕时间实现音画同步 工作原理 如果已经有视频的人造 SRT 字幕文件，可： 1.使用谷歌云自动翻译文本，并创建新的翻译SRT文件 2.创建已翻译文本的文本到语音转换音频剪辑（使用更逼真的神经语音） 3.使用字幕行的计时来计算每个语音音频剪辑的正确持续时间 4.拉伸或缩小翻译后的音频剪辑，使其长度与原始语音完全相同，并插入音频中的同一点。因此，翻译后的语音将与原始视频保持完全同步。 5.可选（默认打开）：您可以使用在第一次传递期间计算的正确语速，而不是拉伸音频剪辑，而是通过 API 合成每个剪辑。这大大提高了音频质量。 其他主要功能 1.创建 SRT 字幕文件的翻译版本 2.按顺序批量处理多种语言 3.用于保存翻译、合成和语言设置以供重复使用的配置文件 4.包含用于将所有语言音轨添加到视频文件的脚本，能够将音效轨道合并到每个语言轨道中 5.包含用于将 YouTube 视频标题和说明翻译成多种语言的脚本 ||||

新一代出海客服系统，ChatGPT自然语言翻译，我们的AI客服系统提供最贴近老外表达习惯的沟通体验

新一代出海客服系统，ChatGPT自然语言翻译，我们的AI客服系统提供最贴近老外表达习惯的沟通体验 个性化翻译你的句子，自定义场景和聊天语气 侧窗泰坦助手支持对话角色一键切换 根据历史对话数据，AI自动生成回复，秒回客户各种专业问题，聊天效率提升300％ 全平台兼容，支持定制，GPT3.5和4.0自由切换 泰坦助手： 神话力量，现代智慧，力量与您同在："Titan"，源自希腊神话中的泰坦神族，象征着力量和智慧。现代化的泰坦助手，将这份力量转化为您手中的智能工具。 全能支持： 对话角色一键切换、历史对话轻松查询。 模型切换、语言自由转换，适应不同商务场景。 文档聊天、生成图像、常用指令保存及一 TranGPT出海专家 1⃣全新UI界面，操作更简洁方便 2⃣新增端口套餐，选择更加多样化 3⃣新增子账户功能，团队使用更方便 TranGPT不能代替客户开发 但拥有TranGPT的人可以更快速的开发客户 销冠们的专属AI客服系统 7*24客服 TranGPT777 官网www.trangpt.ai 点击这里为我们助推赢取Telegram大会员！

大模型开车哪家强？普渡研究给指南：GPT-4真行啊

大模型开车哪家强？普渡研究给指南：GPT-4真行啊 这是来自普渡大学数字孪生实验室最新研究让大语言模型部署在自动驾驶实车上，在多个交通场景，比如停车场、十字路口和高速上理解乘客的各种个性化指令，构建他们的数字孪生。最终在众多大模型的实验中，GPT-4脱颖而出。更多细节在此。基于LLM的自动驾驶系统而这背后的实现，主要来自于一个框架Talk2Drive。这个框架主要有三个特点：1、它将人类口头命令转换为文本指令，然后由云端的大模型来处理。在此过程中会用到一些语音识别的开源API，比如Whisper，准确捕获口令并翻译成文本。云上的大模型结合天气、交通状况和当地交通规则等信息，生成上下文驾驶数据。2、大模型生成特定的自动驾驶代码，随后发送回车辆的电子控制单元（ECU）并在其中执行。代码执行涉及调整基本驾驶行为以及车辆规划和控制系统中的各种参数。随后，车辆的执行器通过CAN总线和线控系统控制油门、刹车、档位选择和转向。3、车辆的存储模块秉承”千人千面“的理念，记录着所有人车交互数据，确保每次行驶体验都是基于乘客的历史偏好和实时命令进行定制，实现真正意义上的数字孪生个性体验。经过一众大模型对比，他们最终选择GPT-4，因为它的延迟相对较小，以及推理能力更强。在Talk2Drive 系统中，三类不同驾乘偏好的乘客以口头化的指令表达与大模型进行交互，以促使系统做出相应调整。当乘客对调整后的自动驾驶行为不满意时会关闭自动驾驶模式，系统也会记录这种情况下的 “接管”。结果显示，无论驾乘偏好如何，Talk2Drive都能显著降低接管率。这辆全副武装的自动驾驶车和大语言模型API协作完成了这次研究。来自普渡大学数字孪生实验室这项研究来自普渡大学数字孪生实验室。从研究团队来看，大部分都是华人面孔。其中一作Can Cui目前是普渡大学一年级博士生。在加入普渡大学工程学院之前，在密歇根大学获得了电气与计算机工程硕士学位。本科毕业于武汉理工大学。其导师王子然博士，在2022年加入普渡大学之前，曾在丰田硅谷研发中心任职四年，以主任研究员的身份领衔数字孪生的相关研究。据介绍，普渡数字孪生实验室从2023年6月开始深耕大语言模型和自动驾驶交叉领域，进行了包括文献综述、创立公开数据集、仿真环境测试、以及主办研讨会等一系列工作。 ... PC版： 手机版：