play.ht：这个项目可以从20秒的音频中快速生成克隆语音，并自动转换为英语。即便你不会说英语，也可以通过语音克隆的方式，立刻

：这个项目可以从20秒的音频中快速生成克隆语音，并自动转换为英语。即便你不会说英语，也可以通过语音克隆的方式，立刻说出一口流利的英语。这里的技术采用了一个名为Parrot的模型，它能从几秒的音频克隆出声音，并基于文本，重新生成一段富有情感的语音。目前该模型只支持英语，不过技术团队已经在开始尝试支持更多语言。克隆声音的数据样本主要分两种：高保真（20分钟）和零样本（20秒），给的音频样本时间越长，其精度就更佳。未来，该工具将被应用到各类数字内容创作（如游戏、媒体、在线教育）等平台。

一款适用于中文语音克隆的工具：GPT-SoVITS

一款适用于中文语音克隆的工具：GPT-SoVITS仅需提供5秒语音样本即可体验达到80%~95%像的声音克隆。若提供1分钟语音样本可以逼近真人的效果，且训练出高质量的TTS模型！目前已获得1.1kStar，看到很多人对其评价为目前最强中文语音克隆工具。值得大家一试，Windows用户可直接开箱使用。https://github.com/RVC-Boss/GPT-SoVITS频道：@kejiqu群组：@kejiquchat

PT-4o与GPT-4的区别

GPT-4o与GPT-4的区别1.性能提升：GPT-4o在性能上进行了显著提升，特别是在文本、语音和视觉处理方面。它能够更快地响应用户的输入，提供更自然和流畅的交互体验。2.响应速度：GPT-4o在响应速度上进行了优化，能够以更短的延迟时间处理用户的语音输入，平均响应时间为320毫秒，这与人类在对话中的响应时间相似。3.多模态交互：GPT-4o支持更高级的多模态交互，能够处理文本、音频和图像的任意组合输入，并生成对应的任意组合输出。这使得GPT-4o在交互性上更加灵活和强大。4.安全性：GPT-4o在设计中内置了跨模式的安全性，并通过与外部专家的合作，提高了与模型互动的安全性。5.成本和效率：GPT-4o在非英语文本上的性能有显著提高，同时API速度快，速率限制高出5倍，成本降低了50%。6.免费提供：与以往的模型不同，GPT-4o将免费提供给所有用户使用，而付费用户可以享受更高的调用额度。7.语音交互模式：GPT-4o采用了全新的技术，让聊天机器人的语音交互模式更加自然和逼真，能够根据指令调整说话时的语气，甚至唱歌。8.优化和迭代：GPT-4o通过训练时的优化和数据的迭代更新，提升了模型在特定任务和场景下的表现。9.风险管理：OpenAI认识到GPT-4o的音频模式存在风险，因此目前公开的是文本和图像输入以及文本输出，未来将围绕技术基础设施、训练后的可用性、发布其他模式所需的安全性开展工作。

Google研究团队宣布AudioPaLM：一个能说能听的大型语言模型

Google研究团队宣布AudioPaLM：一个能说能听的大型语言模型除了文本生成外，还开发了像CLIP（对比性语言图像预训练）这样的模型，用于图像生成，使得可以根据图像的内容生成文本。为了在音频生成和理解方面取得进展，Google的研究团队推出了AudioPaLM，这是一个大型语言模型，可以处理语音理解和生成任务。AudioPaLM结合了两个现有模型的优势，即PaLM-2模型和AudioLM模型，以产生一个统一的多模态架构，能够处理和生成文本和语音。这使得AudioPaLM可以处理各种应用，从语音识别到语音转文字。虽然AudioLM在保持诸如说话者身份和语气信息方面表现出色，而以文本为基础的语言模型PaLM-2则专注于特定于文本的语言知识。通过结合这两个模型，AudioPaLM利用了PaLM-2的语言专业知识和AudioLM的附加语言信息保存能力，从而更全面地理解和生成文本和语音。AudioPaLM使用一个联合词汇表，可以使用有限数量的离散标记表示语音和文本。将这个联合词汇表与标记化的任务描述相结合，可以在各种声音和基于文本的任务上训练单个解码器模型。传统上需要单独模型来处理的语音识别、文本转语音合成和语音到语音翻译等任务现在可以统一到一个架构和训练过程中。经过评估，AudioPaLM在语音翻译方面的表现明显优于现有系统。它展示了对语言组合执行零样本语音到文本翻译的能力，也就是说，它可以准确地将从未遇到过的语言的语音翻译成文本，为更广泛的语言支持开辟了可能性。AudioPaLM还可以基于简短的口语提示在语言之间进行声音转换，并能捕捉并重现不同语言中的独特声音，实现语音转换和适应。团队提到的AudioPaLM主要贡献包括：AudioPaLM利用了文本预训练模型PaLM和PaLM-2的功能。在自动语音翻译和语音到语音翻译基准测试中取得了最先进的结果，并在自动语音识别基准测试中具有竞争力的表现。该模型通过语音转换来进行声音转换，超越了现有方法在语音质量和声音保留方面的表现。AudioPaLM通过使用未见过的语言组合进行自动语音翻译，展示了零样本功能。总而言之，AudioPaLM是一个统一的大型语言模型，通过利用基于文本的语言模型的能力和整合音频提示技术，可以同时处理语音和文本，成为LLM列表中强有力的补充。AudioPaLMHuggingFace页面：https://huggingface.co/papers/2306.12925...PC版：https://www.cnbeta.com.tw/articles/soft/1367209.htm手机版：https://m.cnbeta.com.tw/view/1367209.htm

OpenAI 发布"语音引擎"模型

OpenAI发布"语音引擎"模型VoiceEngine模型使用文本输入和单个15秒音频样本来生成与原始说话者非常相似的自然语音，小样本即可创建情感丰富且逼真的声音。该模型于2022年底首次开发，正在支持ChatGPT语音朗读和文本转语音API，已被HeyGen等企业用户采用。由于合成语音的滥用风险，VoiceEngine每段音频都有用于跟踪的隐水印，并且OpenAI暂不打算广泛部署和允许个人声音克隆，直到公众意识到深度伪造的挑战。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

Transformers.js，在浏览器中运行Transformers | github

Transformers.js，在浏览器中运行Transformers本项目目前支持BERT、ALBERT、DistilBERT、T5、T5v1.1、FLAN-T5、GPT2、BART、CodeGen、Whisper、CLIP、VisionTransformer和VisionEncoderDecoder模型，用于各种任务，包括：屏蔽语言建模、文本分类、文本到文本生成、翻译、摘要、问答、文本生成、自动语音识别、图像分类、零样本图像分类和图像到文本。