Amphion 是一个开源的音频、音乐和语音生成工具包。

Amphion 是一个开源的音频、音乐和语音生成工具包。 它包括文本转语音、语音转换、文本转音乐等任务的工具。 与现有的其他开源文本转语音系统相比，Amphion具有更高的性能。 #tools

Meta发布开源AI工具AudioCraft，可帮助用户创作音乐和音频

Meta发布开源AI工具AudioCraft，可帮助用户创作音乐和音频 美东时间周三，Meta发布了一款开源人工智能（AI）工具 ，该工具可以帮助用户根据文本提示创作音乐和音频。Meta表示，这款人工智能工具将AudioGen、EnCodec和MusicGen三种模型或技术融为一炉，可用文本内容生成高质量、逼真的音频和音乐。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

是一个对比学习工具包，使研究人员和工程师能够有效地训练和评估对比模型。

是一个对比学习工具包，使研究人员和工程师能够有效地训练和评估对比模型。 特征： 建立在Flash Attention之上，可实现快速高效的训练 支持在多个 GPU 上进行训练 GradCache支持在受限内存环境中进行大批量训练 Huggingface 支持轻松加载常见模型（Pythia/GPTNeoX、BERT 等） 掩码语言建模 (MLM) 预训练

Meta 发布开源 AI 工具 AudioCraft，用户可通过文本提示创作音乐、音频

Meta 发布开源 AI 工具 AudioCraft，用户可通过文本提示创作音乐、音频 Meta 开源了一款生成式 AI 工具 AudioCraft，可帮助用户通过文本提示创作音乐和音频。 根据 Meta 官方介绍，AudioCraft 包含了三个核心组件： 1、MusicGen：使用 Meta 拥有 / 特别授权的音乐进行训练，根据文本提示生成音乐。 2、AudioGen：使用公共音效进行训练生成音频或扩展现有音频，后续还可生成环境音效（如狗叫、汽车鸣笛、木地板上的脚步声）。 3、EnCodec（改进版）：基于神经网络的音频压缩解码器，可生成更高质量的音乐并减少人工痕迹，或对音频文件进行无损压缩。 该工具经过开源之后，相关研究人员和从业人员可以使用自己的数据集训练模型。官方宣称 AudioCraft 系列模型能够长期稳定地生成高质量音频，而且易于使用，能够为音乐家和声音设计师“提供灵感”，帮助他们快速集思广益，并“以新的方式迭代他们的作品”。 AudioCraft 项目地址： 、

ℹGoogle 最新 AI 工具可为无声音的影片，生成出配乐和语音#

ℹGoogle 最新 AI 工具可为无声音的影片，生成出配乐和语音# 现今 AI 真的能做越来越多事情，就在我们对能够用文字来生成出音乐、配乐感到兴奋时，Google 的最新 AI 技术「V2A」，可以做到针...

研究发现我们的大脑使用基本的音速和模式来区分音乐和语音

研究发现我们的大脑使用基本的音速和模式来区分音乐和语音 每年有超过三分之一的美国人受到这种语言障碍的困扰，其中包括温迪-威廉姆斯（Wendy Williams）和布鲁斯-威利斯（Bruce Willis）。纽约大学心理学系博士后、论文第一作者安德鲁-张（Andrew Chang）解释说："虽然音乐和语音在很多方面都不同，从音高、音色到声音质地，但我们的研究结果表明，听觉系统使用非常简单的声学参数来区分音乐和语音，总的来说，较慢和稳定的纯噪音声音片段听起来更像音乐，而较快和不规则的片段听起来更像语音"。该论文今天（5 月 28 日）发表在《PLOS 生物学》杂志上。科学家通过精确的测量单位来衡量信号的速率：赫兹（Hz）。赫兹数越大，表示每秒发生的次数（或周期）越多，而赫兹数越小，表示每秒发生的次数（或周期）越少。例如，人们通常以每秒 1.5 到 2 步的速度行走，也就是 1.5-2 赫兹。史蒂夫-汪达 1972 年的名曲"Superstition"（迷信）的节拍也是如此。迷信"的节拍约为 1.6 赫兹，而安娜-卡琳娜 1967 年的名曲"Roller Girl"则为 2 赫兹。相比之下，语音的速度通常要快两到三倍，为 4-5 赫兹。歌曲的音量或响度随时间的变化即所谓的"振幅调制"相对稳定在 1-2 赫兹。相比之下，语音的振幅调制通常为 4-5 赫兹，这意味着其音量变化频繁。尽管音乐和语音无处不在、耳熟能详，但科学家们以前并不清楚我们是如何毫不费力地自动将声音识别为音乐或语音的。声音感知实验结果在PLOS Biology的研究中，为了更好地理解这一过程，张及其同事进行了四次实验，让 300 多名参与者聆听了一系列不同振幅调制速度和规律的合成音乐和语音噪声片段。音频噪声片段只允许检测音量和速度。参与者被要求判断这些模棱两可的噪音片段（他们被告知这些片段是掩盖了噪音的音乐或语音）听起来像音乐还是语音。通过观察参与者将数百个噪音片段分类为音乐或语音的模式，可以发现速度和/或规律性特征对他们判断音乐和语音的影响有多大。科学家们总结说，这就是听觉版的"云中看脸"：如果声波中的某一特征符合听众对音乐或语音的理解，那么即使是白噪声片段听起来也会像音乐或语音。音乐和语音的例子可以从以下页面中获取：<2Hz）、振幅调制较规则的片段听起来更像音乐，而速率较高（~4Hz）、振幅调制较不规则的片段听起来更像语音。对治疗和康复的影响作者指出，了解人脑是如何区分音乐和语音的，有可能使听觉或语言障碍（如失语症）患者受益。例如，旋律音调疗法是一种很有前途的方法，它可以训练失语症患者唱出他们想说的话，利用他们完好的"音乐机制"绕过受损的语言机制。因此，了解是什么使音乐和语言在大脑中相似或不同，有助于设计更有效的康复计划。编译来源：ScitechDaily ... PC版： 手机版：