微软展示VASA-1人工智能模型 能将照片变成"会说话的人脸"

微软展示VASA-1人工智能模型 能将照片变成"会说话的人脸" 该模型目前只是研究预览版,微软研究团队以外的任何人都无法试用,但演示视频看起来令人印象深刻。Runway 和 NVIDIA 已经推出了类似的唇部同步和头部运动技术,但这种技术的质量和逼真度似乎要高得多,可以减少嘴部伪影。这种音频驱动动画的方法也与Google研究院最近推出的VLOGGER 人工智能模型类似。VASA-1 如何工作?微软表示,这是一个新的框架,用于创建栩栩如生的会说话的人脸,专门用于虚拟人物的动画制作。示例中的所有人物都是合成的,是用 DALL-E 制作的,但如果它能为逼真的人工智能图像制作动画,那么它也能为真实的照片制作动画。在演示中,我们看到人们说话时就像在被拍摄一样,动作略显生涩,但看起来非常自然。唇语同步令人印象深刻,动作自然,嘴部上下没有其他工具中出现的假象。VASA-1 最令人印象深刻的一点似乎是,它不需要正面朝上的人像图像就能工作。其中有面向不同方向拍摄的例子。该模型似乎还具有很强的控制能力,能够将眼睛注视的方向、头部距离甚至情绪作为输入来引导生成。VASA-1 的意义何在?其中一个最明显的应用案例就是游戏中的高级唇语同步。如果能创造出具有自然唇部动作的人工智能驱动的 NPC,就能改变游戏的沉浸感。它还可用于为社交媒体视频创建虚拟化身,HeyGen 和 Synthesia 等公司已经采用了这种技术。另一个领域是基于人工智能的电影制作。如果能让人工智能歌手看起来像在唱歌,就能制作出更逼真的音乐视频。尽管如此,该团队表示,这只是一次研究演示,并没有公开发布的计划,甚至也不会提供给开发人员在产品中使用。VASA-1 的效果如何?让研究人员感到惊讶的是,VASA-1 能够完美地对歌曲进行歌词嘴型同步,尽管训练数据集中没有使用音乐,但它仍能毫无问题地反映歌手的歌词。它还能处理不同风格的图像,包括蒙娜丽莎。他们让它以每秒 45 帧的速度创建 512x512 像素的图像,使用桌面级 NVIDIA RTX 4090 GPU 可在大约 2 分钟内完成。虽然他们说这只是用于研究,但如果它不能进入公共领域,那就太可惜了,即使只是面向开发者,鉴于微软在OpenAI中拥有巨大的股份,这甚至可能成为未来 Copilot Sora 集成的一部分。 ... PC版: 手机版:

相关推荐

封面图片

报道微软正在自行开发比OpenAI更小更便宜的人工智能模型

报道微软正在自行开发比OpenAI更小更便宜的人工智能模型 这些 SLM 旨在提供与 OpenAI 的 GPT 等大型语言模型(LLM)类似的对话和生成能力,但对硬件的需求大大降低。与外部开发的替代产品相比,这将使微软的人工智能产品和服务具有更低的相关成本和碳足迹。GenAI 团队预计将并入微软的 Azure 云计算部门,将专注于创建更小的语言模型。为了支持 GenAI 团队,微软还从其研究小组调来了几位顶尖开发人员。微软公司副总裁米沙-比连科(Misha Bilenko)将领导该团队的工作。GenAI 团队的目标是创造出与 OpenAI 等公司提供的模型功能相匹配甚至更强的人工智能,同时针对较小的规模进行优化。迄今为止,微软已将 OpenAI 的多项人工智能功能纳入其产品中。例如,必应在Copilot中使用了GPT-4,必应图像创建器在图像生成中使用了Dall-E。最近几周,该公司还推出了Copilot Pro一项针对个人消费者的订阅服务,为他们提供更先进的人工智能功能。该报告是在 OpenAI 最近推出 GPT 商店之后发布的,用户可以在该商店创建、分享和销售基于 OpenAI 语言模型的定制人工智能模型。同样,微软也宣布了自己的计划,即为Copilot提供针对特定需求和主题定制的人工智能聊天机器人。然而,依赖外部开发的人工智能会产生一些费用,而且缺乏对技术本身的控制。微软致力于开发更小巧、更经济实惠的人工智能技术,这有可能为公司提供自己的解决方案开辟新的途径,减少对第三方供应商的依赖。据说美国司法部(DOJ)和联邦贸易委员会(FTC)希望调查 OpenAI 与微软的关系,以防您错过。上周,我们曾报道,这两个机构都急于调查这笔交易,特别是微软的参与及其对人工智能行业竞争的影响。 ... PC版: 手机版:

封面图片

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃 用于训练大型语言模型的数据最初来自人类来源,如书籍、文章、照片等,这些都是在没有人工智能的帮助下创建的。但随着越来越多的人使用人工智能来制作和发布内容,一个明显的问题出现了:当人工智能生成的内容在互联网上扩散时,人工智能模型开始对其进行训练。研究人员发现,“在训练中使用模型生成的内容会导致所产生的模型出现不可逆转的缺陷。”他们研究了文本到文本和图像到图像的人工智能生成模型的概率分布,得出结论:“从其他模型产生的数据中学习会导致模型崩溃 这是一个退化的过程,并且随着时间的推移,模型会忘记真正的基础数据分布。”他们观察到模型崩溃发生得如此之快:模型可以迅速忘记它们最初学习的大部分原始数据。这导致它们随着时间的推移,表现越来越差,错误越来越多。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

微软推出其规模最小的人工智能模型 Phi-3

微软推出其规模最小的人工智能模型 Phi-3 微软推出了其轻量级人工智能模型 Phi-3 Mini 的下一个版本,这是该公司计划发布的三款小型模型中的第一款。Phi-3 Mini 可测量 38 亿个参数,其训练数据集比 GPT-4 等大型语言模型要小。现在可在 Azure、Hugging Face 和 Ollama 上使用。微软计划发布 Phi-3 Small (7B 参数) 和 Phi-3 Medium (14B 参数)。参数指的是模型能理解多少复杂指令。与大型人工智能模型相比,小型人工智能模型通常运行成本更低,并且在手机和笔记本电脑等个人设备上表现更好。

封面图片

OpenAI 推出文本到视频人工智能模型 Sora

OpenAI 推出文本到视频人工智能模型 Sora 根据 OpenAI 的介绍博文,Sora 能够创建"具有多个角色、特定运动类型以及主体和背景准确细节的复杂场景"。该公司还指出,该模型能够理解物体"在物理世界中的存在方式",还能"准确解释道具并生成表达生动情感的引人注目的角色"。该模型还能根据静态图像生成视频,以及在现有视频中填充缺失的帧或扩展视频。OpenAI 的博文中包含的 Sora 生成的演示包括淘金热时期加利福尼亚州的空中场景、从东京火车内部拍摄的视频等。许多演示都有人工智能的痕迹比如在一段博物馆的视频中,地板疑似在移动。OpenAI 表示,该模型"可能难以准确模拟复杂场景的物理现象",但总体而言,演示结果令人印象深刻。几年前,像 Midjourney 这样的文本到图像生成器在模型将文字转化为图像的能力方面处于领先地位。但最近,视频技术开始飞速进步:Runway 和 Pika 等公司都展示了自己令人印象深刻的文字转视频模型,而Google的 Lumiere 也将成为 OpenAI 在这一领域的主要竞争对手之一。与 Sora 类似,Lumiere 也为用户提供了文字转换视频的工具,还能让用户通过静态图像创建视频。Sora 目前只对"红队"人员开放,他们负责评估模型的潜在危害和风险。OpenAI 还向一些视觉艺术家、设计师和电影制片人提供访问权限,以获得反馈意见。它指出,现有模型可能无法准确模拟复杂场景的物理现象,也可能无法正确解释某些因果关系。本月早些时候,OpenAI 宣布将在其文本到图像工具 DALL-E 3 中添加水印,但指出这些水印"很容易去除"。与其他人工智能产品一样,OpenAI 将不得不面对人工智能逼真视频被误认为是真实视频的后果。 ... PC版: 手机版:

封面图片

微软推出其规模最小的人工智能模型 Phi-3

微软推出其规模最小的人工智能模型 Phi-3 该公司于 12 月发布了 Phi-2,其性能与 Llama 2 等更大的型号不相上下。微软表示,Phi-3 的性能比前一版本更好,其响应速度接近比它大 10 倍的机型。微软Azure人工智能平台公司副总裁埃里克-博伊德(Eric Boyd)介绍说,Phi-3 Mini的性能与GPT-3.5等LLM不相上下,"只是外形尺寸更小而已"。与体积较大的同类,小型人工智能模型的运行成本通常更低,在手机和笔记本电脑等个人。据 The Information今年早些时候报道,微软正在组建一个专门研究轻量级人工智能模型的团队。 除了 Phi,该公司还建立了一个专注于解决数学问题的模型Orca-Math。微软的竞争对手也有自己的小型人工智能模型,它们大多针对文档摘要或编码辅助等较简单的任务。Google的 Gemma 2B 和 7B适合简单的聊天机器人和语言相关工作。Anthropic 的 Claude 3 Haiku可以阅读带图表的高密度研究论文并快速总结,而Meta 最近发布的 Llama 3 8B可能会用于一些聊天机器人和编码辅助工作。博伊德说,开发人员用"课程"来训练 Phi-3。他们的灵感来自于儿童是如何从睡前故事、单词较简单的书籍以及谈论较大主题的句子结构中学习的。Phi-3 只是在前几个迭代学习的基础上更进一步。Phi-1 专注于编码,Phi-2 开始学习推理,而 Phi-3 则更擅长编码和推理。虽然Phi-3系列模型知道一些常识,但它在广度上无法击败GPT-4或其他LLM从一个在整个互联网上接受过训练的LLM和一个像Phi-3这样的小型模型中得到的答案差别很大。Boyd 说,公司经常发现,像 Phi-3 这样的小型机型更适合他们的定制应用,因为对于很多公司来说,他们的内部数据集无论如何都会偏小。而且,由于这些型号使用的计算能力较低,它们的价格往往要低得多。 ... PC版: 手机版:

封面图片

研究发现:用人工智能生成的图像训练出的人工智能产生了糟糕的结果。

研究发现:用人工智能生成的图像训练出的人工智能产生了糟糕的结果。 斯坦福大学和莱斯大学的研究人员发现,生成式人工智能模型需要“新鲜的真实数据”,否则输出的质量就会下降。 这对摄影师和其他创作者来说是个好消息,因为研究人员发现,训练数据集中的合成图像会放大人工痕迹,使人工智能画出的人类看起来越来越不像真人。 研究小组将这种状况命名为“模型自噬障碍”。如果自噬循环的每一代都没有足够的新鲜真实数据,未来的生成模型注定会逐渐降低其质量或多样性。 如果该研究论文是正确的,那么这意味着人工智能将无法开发出无穷无尽的数据源。人工智能仍然需要真实、高质量的图像来不断进步,而不是依赖自己的输出。这意味着生成式人工智能将需要摄影师。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人