AI孙燕姿翻唱爆火多亏这个开源项目 广西老表带头打造

AI孙燕姿翻唱爆火多亏这个开源项目广西老表带头打造而如果在各大教程中溜达一圈后就会发现,其中的关键秘诀,还是要靠一个名为so-vits-svc的开源项目。它提供了一种音色替换的办法,项目在今年3月发布。贡献成员应该大部分都来自国内,其中贡献量最高的还是一位玩明日方舟的广西老表。如今,项目已经停止更新了,但是星标数量还在蹭蹭上涨,目前已经到了8.4K。所以它到底实现了哪些技术能引爆这波趋势?一起来看。多亏了一个开源项目这个项目名叫SoftVCVITSSingingVoiceConversion(歌声转换)。它提供了一种音色转换算法,采用SoftVC内容编码器提取源音频语音特征,然后将矢量直接输入VITS,中间不转换成文本,从而保留了音高和语调。此外,还将声码器改为NSFHiFiGAN,可以解决声音中断的问题。具体分为以下几步:预训练模型准备数据集预处理训练推理其中,预训练模型这步是关键之一,因为项目本身不提供任何音色的音频训练模型,所以如果你想要做一个新的AI歌手出来,需要自己训练模型。而预训练模型的第一步,是准备干声,也就是无音乐的纯人声。很多博主使用的工具都是UVR_v5.5.0。Twitter博主@归藏介绍说,在处理前最好把声音格式转成WAV格式,因为So-VITS-SVC4.0只认这个格式,方便后面处理。想要效果好一些,需要处理两次背景音,每次的设置不同,能最大限度提高干声质量。得到处理好的音频后,需要进行一些预处理操作。比如音频太长容易爆显存,需要对音频切片,推荐5-15秒或者再长一点也OK。然后要重新采样到44100Hz和单声道,并自动将数据集划分为训练集和验证集,生成配置文件。再生成Hubert和f0。接下来就能开始训练和推理了。具体的步骤可以移步GitHub项目页查看(指路文末)。值得一提的是,这个项目在今年3月上线,目前贡献者有25位。从贡献用户的简介来看,很多应该都来自国内。据说项目刚上线时也有不少漏洞并且需要编程,但是后面几乎每一天都有人在更新和修补,现在的使用门槛已经降低了不少。目前项目已经停止更新了,但还是有一些开发者创建了新的分支,比如有人做出了支持实时转换的客户端。项目贡献量最多的一位开发者是Miuzarte,从简介地址判断应该来自广西。随着想要上手使用的人越来越多,也有不少博主推出了上手难度更低、更详细的食用指南。归藏推荐的方法是使用整合包来推理(使用模型)和训练,还有B站的Jack-Cui展示了Windows下的步骤指南。需要注意的是,模型训练对显卡要求还是比较高的,显存小于6G容易出现各类问题。Jack-Cui建议使用N卡,他用RTX2060S,训练自己的模型大概用了14个小时。训练数据也同样关键,越多高质量音频,就意味着最后效果可以越好。还是会担心版权问题值得一提的是,在so-vits-svc的项目主页上,着重强调了版权问题。警告:请自行解决数据集的授权问题。因使用未经授权的数据集进行培训而产生的任何问题及其一切后果,由您自行承担责任。存储库及其维护者、svc开发团队,与生成结果无关!这和AI画画爆火时有点相似。因为AI生成内容的最初数据取材于人类作品,在版权方面的争论不绝于耳。而且随着AI作品盛行,已经有版权方出手下架平台上的视频了。据了解,一首AI合成的《HeartonMySleeve》在油管和TikTok上爆火,它合成了Drake和Weekend演唱的版本。但随后,Drake和Weekend的唱片公司环球音乐将这个视频从平台上下架了,并在声明里向潜在的仿冒者发问,“是要站在艺术家、粉丝和人类创造性表达的一边,还是站在Deepfake、欺诈和拒付艺术家赔偿的一边?”此外,歌手Drake也在ins上对AI合成翻唱歌曲表达了不满。而另一边,也有人选择拥抱这项技术。加拿大歌手Grimes表示,她愿意让别人使用自己的声音合成歌曲,但是要给她一半版权费。...PC版:https://www.cnbeta.com.tw/articles/soft/1359129.htm手机版:https://m.cnbeta.com.tw/view/1359129.htm

相关推荐

封面图片

AI“孙燕姿”横空出世 歌手饭碗不保?但版权问题或成隐患

AI“孙燕姿”横空出世歌手饭碗不保?但版权问题或成隐患大部分人在听过后都会惊叹AI的强大,“虽然唱腔和风格还模仿不了,但是音色已经很强了。”也有网友吐槽副歌部分不太像本人,“音色完全相同,但演唱风格完全不同。”除了AI孙燕姿,目前网络上还活跃着AI周杰伦,AI王心凌等。“他们”的翻唱歌曲,由创作者通过开源项目“so-vits-svc”自制后并上传。so-vits-svc是一个基于VITS的歌声转换模型,可以通过输入人声样本,训练模型学习掌握某个人的音色、音质和发音特点,为这个人建立一套声音模型,然后用AI生成目标音色的歌声。随着AI歌手的火爆,“教你打造属于自己的AI孙燕姿”“让喜欢的歌手为你唱歌”等AI训练教程也火速上线,制作此类歌曲的门槛越来越低。在《下雨天》的AI翻唱视频下,B站网友评论,“那以后,能听见黄家驹、张国荣他们唱新歌了。”但已经有网友重视起版权问题,有微博网友笑称,“第一步应该是获得孙燕姿的授权同意吧”。的确,让AI学习歌手的声音,再用歌手的声音去唱其他歌手的歌,这类训练一般需要大量的音频数据,包括目标歌手的音乐作品和其他歌手的音乐作品,以及相应的音高、音长、音素等信息。AI翻唱涉及到的版权问题主要包括:AI翻唱是否侵犯了歌手的声音版权?AI翻唱是否侵犯了其他歌手的音乐版权?AI翻唱的歌曲是否享有自己的版权?这些问题在我国目前还没有明确的法律规定和司法判例,存在很多争议和困难。国外,AI“入侵”音乐界早有案例。如一名TikTok用户利用AI蕾哈娜翻唱碧昂斯热门单曲《CuffIt》的案例,引起了该曲版权方环球音乐的注意,并引发了侵权诉讼;美国摇滚乐队Nirvana起诉歌曲《DrownedintheSun》的制作团队,称该团队利用AI技术模仿了他们的风格;美国说唱歌手Jay-Z起诉网站VocalSynthesis,称该网站用他的声音朗读《哈姆雷特》、《海明威小说》等文学作品,侵犯了他的声音版权和肖像权。以大模型为桥梁,非编程人员便可打造专属AI工具,无疑是向通用人工智能迈进的重要一步,但当AI在音乐、绘画等领域的应用门槛逐步放低,相应的版权问题势必纷至沓来。有意思的是,so-vits-svc模型的开发者已经从源代码托管服务平台Github上删库,并表示,删库主要是因为项目已经停止维护和更新,并且声明了项目的免责条款,强调项目是一个开源、离线的项目,所有成员和贡献者对项目没有任何控制权,也不知道用户使用项目的目的和方式,因此所有基于项目训练的AI模型和合成的音频与项目的成员和贡献者无关。...PC版:https://www.cnbeta.com.tw/articles/soft/1358745.htm手机版:https://m.cnbeta.com.tw/view/1358745.htm

封面图片

Meta公司发布开源AI作曲项目 MusicGen

Meta公司发布开源AI作曲项目MusicGenMeta的MusicGen可以根据文本提示生成短小的音乐片段,还可以选择性地与现有的旋律对齐。和大多数当前的语言模型一样,MusicGen基于Transformer模型。就像语言模型预测句子中的下一个字符一样,MusicGen预测音乐作品中的下一个部分。研究人员使用Meta的EnCodec音频分词器将音频数据分解成更小的组件。作为一个单阶段模型,它可以并行处理标记,因此MusicGen快速而高效。团队使用了20,000小时的授权音乐进行训练。特别是他们依赖于一个内部数据集,其中包括10,000首高质量的音乐曲目,以及来自Shutterstock和Pond5的音乐数据。——

封面图片

Meta 发布开源 AI 工具 AudioCraft,用户可通过文本提示创作音乐、音频

Meta发布开源AI工具AudioCraft,用户可通过文本提示创作音乐、音频Meta开源了一款生成式AI工具AudioCraft,可帮助用户通过文本提示创作音乐和音频。根据Meta官方介绍,AudioCraft包含了三个核心组件:1、MusicGen:使用Meta拥有/特别授权的音乐进行训练,根据文本提示生成音乐。2、AudioGen:使用公共音效进行训练生成音频或扩展现有音频,后续还可生成环境音效(如狗叫、汽车鸣笛、木地板上的脚步声)。3、EnCodec(改进版):基于神经网络的音频压缩解码器,可生成更高质量的音乐并减少人工痕迹,或对音频文件进行无损压缩。该工具经过开源之后,相关研究人员和从业人员可以使用自己的数据集训练模型。官方宣称AudioCraft系列模型能够长期稳定地生成高质量音频,而且易于使用,能够为音乐家和声音设计师“提供灵感”,帮助他们快速集思广益,并“以新的方式迭代他们的作品”。AudioCraft项目地址:——、

封面图片

《火爆全网的AI孙燕姿!超详细干货教程,让你也能做出AI声音克隆!》

《火爆全网的AI孙燕姿!超详细干货教程,让你也能做出AI声音克隆!》大家好,我是吴东子最近AI孙燕姿火爆全网,为此我专门写了一篇超详细的教程,保证看完这篇文章你也能做出来!文章里面不仅有一站式制作AI孙燕姿的方法,还包含了训练声音模型的教程让你除了AI孙燕姿外,还能做一个AI自己,让你的声音可以唱任何你喜欢的歌曲同时每一步都是手把手教学,大白话讲解,确保你能听懂,照着做准能做出来另外,所有软件的安装包、整合包,甚至孙燕姿的声音模型都已经打包好放在网盘分享给大家!为了更好的阅读体验,欢迎点击链接查看https://mp.weixin.qq.com/s/Jm3Dl8tTADdzUCiOAmnvzA

封面图片

Stable Audio Open 开源 AI 模型发布

StableAudioOpen开源AI模型发布StabilityAI立足StableDiffusion文生图模型,进一步向音频领域拓展,推出了,可以基于用户输入的提示词,生成高质量音频样本。StableAudioOpen最长可以创建47秒的音乐,非常适合鼓点、乐器旋律、环境音和拟声音效,该开源模型基于transforms扩散模型(DiT),在自动编码器的潜在空间中操作,提高生成音频的质量和多样性。StableAudioOpen目前已经开源,感兴趣的用户可以在上试用。据说它使用了来自FreeSound和FreeMusicArchive等音乐库的486000多种采样进行训练。StabilityAI公司表示:“虽然它可以生成简短的音乐片段,但并不适合完整的歌曲、旋律或人声”。StableAudioOpen和StableAudio2.0不同是,前者为开源模型,专注于短音频片段和音效,而后者能够生成最长3分钟的完整音频。来源,频道:@kejiqu群组:@kejiquchat

封面图片

作为当下最受欢迎的开源 AI 大模型解决方案,GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF

作为当下最受欢迎的开源AI大模型解决方案,GitHub上一个开源项目Colossal-AI建立了一整套完整的RLHF流程,包括:监督数据集收集->监督微调->奖励模型训练->强化学习微调。并且,技术团队以LLaMA为基础预训练模型,正式推出了ColossalChat,这也是目前最接近ChatGPT原始技术方案的实用开源项目。该项目包括但不限于以下功能:-Demo:可直接在线体验模型效果,无需注册或waitinglist;-训练代码:开源完整RLHF训练代码,已开源至含7B和13B两种模型;-数据集:开源104K中、英双语数据集;-推理部署:4bit量化推理70亿参数模型仅需4GB显存;-模型权重:仅需单台服务器少量算力即可快速复现;-更大规模模型、数据集、其他优化等将保持高速迭代添加。目前,相关代码已开源至GitHub,感兴趣的同学可以看下。项目还有提供完整的中文教程,进一步降低学习门槛,让大家能更快上手开发。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人