爆火Sora震惊威尔·史密斯 OpenAI技术路线或早在1月被成功预言

爆火Sora震惊威尔·史密斯 OpenAI技术路线或早在1月被成功预言 你以为，上面是一年前的AI视频，下面是如今的AI视频？错！这个所谓AI生成的视频，其实正是威尔史密斯本人！威尔·史密斯吃意面这个“图灵测试”，曾让Runway、Pika等屡屡翻车。Runway生成的，是这样的但如今，Sora已经做到了逼真似真人、毫无破绽，所以才让威尔史密斯成功骗过了大众，这太可怕了！Sora的出现，其实在今年1月就已被人预言1月5日，一位前阿里的AI专家表示我认为，Transformer框架和LLM路线，将是AI视频的一个突破口和新范式，它将使AI视频更加连贯、一致，并且时长更长。目前的Diffusion+Unet路线（如Runway、Pika等），只是暂时的解决方案。无独有偶，斯坦福学者李飞飞在去年年底，就用Transformer就做出了逼真的视频。而马毅教授也表示，自己团队去年在NeurIPS一篇论文中也已经证实，用Transformer可以实现diffusion和denosing。马毅团队提出：假设数据分布是mixed Gaussians，那Transformer blocks就是在实现diffusion/扩散和denoising/压缩能想到Sora技术路线的，肯定不止一个人。可是全世界第一个把Sora做出来的，就是OpenAI。OpenAI为何总能成功？无他，唯手快尔。Runway和Pika“点歪”的科技树，被OpenAI掰正了在此之前，Runway、Pika等AI视频工具吸引了不少聚光灯。而OpenAI的Sora，不仅效果更加真实，就是把Transformer对前后文的理解和强大的一致性，发挥得淋漓尽致。这个全新的科技树，可真是够震撼的。不过我们在开头也可以看到，OpenAI并不是第一个想到这个的人。Transformer框架+LLM路线这种新范式，其实早已有人想到了。就如同AI大V“阑夕”所言，OpenAI用最简单的话，把最复杂的技术讲清楚了“图片只是单帧的视频。”科技行业这种从容的公共表达，真是前所未见，令人醍醐灌顶。“阑夕”指出，“图片只是单帧的视频”的妙处就在于，图片的创建不会脱离时间轴而存在，Sora实际上是提前给视频写了脚本的。甚至无论用户怎样Prompt，Sora AI都有自己的构图思维。而这，就是困住Runway、Pika等公司最大的问题。它们的思路，基本都是基于一张图片来让AI去想象，完成延伸和填补，从而叠加成视频。比拼的是谁家的AI更能理解用户想要的内容。因此，这些AI视频极易发生变形，如何保持一致性成了登天般的难题。Diffusion Model这一局，是彻底输给Transformer了。ChatGPT故事再次重演，Sora其实站在Google的肩膀上让我们深入扒一扒，Sora是站在哪些前人的肩膀上。简而言之，最大创新Patch的论文，是Google发表的。Diffusion Transformer的论文，来自William Peebles和谢赛宁。此外，Meta等机构、UC伯克利等名校皆有贡献。William Peebles和谢赛宁提出的框架纽约大学计算机系助理教授谢赛宁在分析了Sora的技术报告后表示，Sora应该是基于自己和William Peebles提出的框架设计而成。这篇提出了Sora基础架构的论文，去年被ICCV收录。论文地址： Peebles加入了OpenAI，领导了开发Sora的技术团队。图灵三巨头之一、Meta AI主管LeCun，也转发了谢赛宁的帖子表示认可。巧合的是，谢赛宁是LeCun的前FAIR同事、现纽约大学同事，William Peebles是LeCun的前伯克利学生、现任OpenAI工程师。AI果然是个圈。最近，谢赛宁对说自己是Sora作者的说法进行了辟谣CVPR“有眼不识泰山”，拒掉Sora基础论文有趣的是，Diffusion Transformer这篇论文曾因“缺乏创新性”被CVPR 2023拒收，后来才被ICCV2003接收。谢赛宁表示，他们在DIT项目没有创造太多的新东西，但是两个方面的问题：简单性和可扩展性。这可能就是Sora为什么要基于DIT构建的主要原因。此前，生成模型的方法包括GAN、自回归、扩散模型。它们都有各自的优势和局限性。而Sora引入的，是一种全新的范式转变新的建模技术和灵活性，可以处理各种时间、纵横比和分辨率。Sora所做的，是把Diffusion和Transformer架构结合在一起，创建了diffusion transformer模型。这也即是OpenAI的创新之处。时空Patch是Google的创新时空Patch，是Sora创新的核心。它建立在Google DeepMind早期对NaViT和ViT（视觉Transformer）的研究之上。论文地址：“An Image is Worth 16x16 Words”。论文地址：“Attention Is All You Need”的历史重演。2017年6月12日，8位Google研究人员发表了Attention is All You Need，大名鼎鼎的Transformer横空出世。它的出现，让NLP变了天，成为自然语言领域的主流模型。论文地址：... PC版： 手机版：

AI行业买英伟达GPU 花的钱比赚的多17倍 有人却表示很合理

AI行业买英伟达GPU 花的钱比赚的多17倍 有人却表示很合理 上个周末，机器学习社区围绕这个数字热烈地讨论了起来。明星创业公司，几周估值翻倍：但没有收入由知名投资人 Peter Thiel 支持的 AI 初创公司 Cognition Labs 正在寻求 20 亿美元估值，新一轮融资在几周之内就将该公司的估值提高了近六倍。在如今火热的生成式 AI 领域里，Cognition 是一家冉冉升起的新星。如果你对它还不太熟悉，这里有它的两个关键词：国际奥赛金牌团队，全球首位 AI 程序员。Cognition 由 Scott Wu 联合创立，其团队组成吸引眼球，目前只有 10 个人，但包含许多国际信息学奥林匹克竞赛的金牌选手。Cognition Labs 的团队，CEO Scott Wu（后排身穿衬衣）只有 27 岁。该公司在今年 3 月推出了 AI 代码工具 Devin，号称“第一位接近人类的 AI 程序员”，能够自主完成复杂的编码任务，例如创建自定义的网站。从开发到部署，再到 debug，只需要人类用自然语言给需求，AI 就能办到。该新闻很快就登上了众多媒体的头条，也成为了热搜：一些投资者表示，Devin 代表了人工智能的重大飞跃，并可能预示着软件开发的大规模自动化之路已经开启。Cognition 虽然神奇，但它并不是个独苗。最近一段时间，生成式 AI 展现了超乎想像的吸金能力。去年 12 月，总部在法国的 Mistral 获得了 4.15 亿美元融资，估值达到 20 亿美元，比前一年夏天的一轮融资增长了大约七倍。3 月初，旨在挑战Google网络搜索主导地位的 AI 初创公司 Perplexity 也传来新一轮融资的消息，新估值有望达到近 10 亿美元。而在这其中，作为一家旨在提供 AI 自动代码工具的创业公司，Cognition 去年才开始研发产品，目前并没有获得有意义的收入数字。今年初，在 Founders Fund 牵头的一轮 2100 万美元融资中，该公司的估值达到了 3.5 亿美元。据介绍，美国著名创业投资家、创办 Founders Fund 的 Peter Thiel 帮助领导了对 Cognition 的投资。Peter Thiel 是全球畅销书《从 0 到 1：开启商业与未来的秘密》的作者，身家 71 亿美元。AI 编写代码看起来是一个有前途的大模型应用方向，其他提供类似产品的公司也看到了增长势头。上个季度，微软的代码工具 GitHub Copilot 用户数量增长了 30% 达到 130 万。Magic AI 是 Cognition 的竞争对手，2 月份获得了 1.17 亿美元的投资。国内也有一些代码生成自动化工具的初创企业，在生成式 AI 技术爆发后正在加速行业落地。尽管出现了令人鼓舞的增长迹象，新公司的估值也不断膨胀，但这种快速发展也引发了人们对于出现泡沫的担忧 到目前为止，很少有初创公司能够展示他们如何赚钱，想要收回开发生成式 AI 的高昂成本，似乎还没有门道。在 3 月的一次演讲中，红杉资本（Sequoia Capital）有投资人估计 AI 行业去年为了训练大模型，仅在英伟达芯片上就花费了 500 亿美元，而换来的收入是 30 亿美元。所以说，不算电费，开销是收入的 17 倍。怎么样，今年还玩得起吗？出路在哪如今生成式 AI 技术的爆发，可谓验证了强化学习先驱 Richard S. Sutton 在《苦涩的教训》中的断言，即利用算力才是王道。黄仁勋两周前在 GTC 上也曾表示：“通用计算已经失去动力，现在我们需要更大的模型、更大的 GPU，需要将 GPU 堆叠在一起…… 这不是为了降低成本，而是为了扩大规模。”但是在千亿、万亿参数量的大模型出现之后，通过提升规模来提升智能的方法是否还可以持续，是一个无法回避的问题。更何况现在的大模型已经很贵了。华尔街日报的文章迅速引起大量讨论。有网友认为：“资本支出通常就是一次性的，而投资的收入却是日积月累的。生成式 AI 刚刚起步，其后续的经济收益可能是巨大的。”但这种乐观的观点很快遭到反驳，另一位网友指出：“资本的支出的确是一次性的，但 GPU 会相对较快地贬值。”为什么说 GPU 会快速贬值呢？虽然较老版本的 GPU 也不会停止支持 CUDA（英伟达推出的运算平台）等等，但与 H100 相比，V100 的能源消耗是巨大的浪费。毕竟同样也是在 3 月份，英伟达已经发布了全新一代 AI 加速的 GPU Blackwell 系列。近八年来，AI 算力增长了一千倍。如果使用 V100 可以赚钱，那当然没问题。然而，如诸多媒体报道所述，对大多数公司来说，现阶段运行大模型并没有转化为实际收入。另一方面，看看现在大模型每周都在推陈出新的状态，即使几年前的 GPU 在算力角度看可以接受，但大模型也在“快速折旧”。七年后的 AI，用现在的基础设施能支撑吗？此外，如果一家公司花费大量成本来购买 V100，试图跟上生成式模型的趋势，那么可能就会出现研究团队雇佣成本不足的问题，那么最终可能还是无法做出有实际应用、经济收益的产品。值得注意的是，许多 LLM 都需要额外的处理层来消除幻觉或解决其他问题。这些额外的层显著增加了生成式模型的计算成本。这不是 10% 的小幅增长，而是计算量增长了一个数量级。并且许多行业可能都需要这种改进。图源：Reddit 用户 @LessonStudio从行业的角度讲，运行生成式大模型需要大型数据中心。英伟达已经非常了解这个市场，并持续迭代更新 GPU。其他公司可能无法仅仅投资数百亿美元来与之竞争。而这些 GPU 需求还只是来自各大互联网公司的，还有很多初创公司，例如 Groq、Extropic、MatX、Rain 等等。最后，也有人给出了这种夸张投入的“合理性”：坐拥大量现金的微软、Google和 Meta，他们因为反垄断法规而无法继续收购，因而只能选择将资金投入 AI 技术发展。而 GPU 支出的折旧，可以作为损失避免缴纳更多税款。但这就不是创业公司所要考虑的事了。无论如何，竞争会决出胜者。无论花掉多少钱，成为第一可能就会带来潜在的收益……但是什么样的收益，我们还无法作出预测。难道，生成式 AI 真正的赢家是英伟达？ ... PC版： 手机版：

Sora爆火100小时：核心团队被扒，卖课狂割韭菜，虚假视频泛滥

Sora爆火100小时：核心团队被扒，卖课狂割韭菜，虚假视频泛滥 相比去年GPT-4超长篇幅的作者名单，Sora的作者团队显然更加简短。这些参与者中，已知的核心成员包括研发负责人Tim Brooks、William（Bill）Peebles、系统负责人 Connor Holmes等。前两人师出同门，均在2019年进入伯克利深造，直到2023年上半年才一前一后获得博士学位，可以说是非常年轻。值得注意的是，William（Bill）Peebles曾和现任纽约大学计算机科学助理教授谢赛宁一起发表过论文《Scalable Diffusion Models with Transformers》，该论文研究成果DiT模型被Sora引用，也是这次Sora背后的重要技术基础之一。因为论文的引用也传出了一则谣言，有网友认为谢赛宁是Sora作者之一，目前谢赛宁本人已在朋友圈亲自辟谣。根据谢赛宁的透露，Sora是William（Bill）Peebles等人在OpenAI的呕心沥血之作，每天基本不睡觉高强度工作了一年。要知道，William（Bill）Peebles在2023年3月入职OpenAI，距今刚好不到一年。这也从侧面否定了之前传闻中的“Sora早就开发完成，只是一直没发”的言论。未公测却卖课，新型韭菜收割机？而市场上围绕着Sora的不仅仅有谣言，还有一系列巧立名目的骗局。据知情人士透露，目前市面上一份Sora的课程售价为99元，一天时间就卖出了2万多份。也就是说，卖课者一天至少到手200万元。而课程交付的内容却极其简陋，只有Sora的介绍文档，以及一句口号：“给自己一个机会”。无独有偶，甚至有人号称手上有北美NASA工作人员的资源，已经拿到接口，把Sora打包到GPTs，做成软件发布上线。除此之外，还有搜集各类Sora文章、专有名词等资料，做成飞书文档卖钱的，也有直接套用影视行业专业名词包装成Sora的提示词，让人付费进群领取的，诸如此类各式各样打着Sora旗号收割韭菜的骗局。更甚者还有人为了吸引人付费，不择手段地大力制造焦虑感，到处宣称“Sora的风口最多3个月就消失”、“一步慢，步步慢”，“24小时之内上线了一款连产品都没有发布的课程”。某电商平台上，也有人售卖Sora教程，甚至连宣传海报都是同一款，懒得另外重做。这也直接迫使OpenAI的开发者关系负责人Logan发布紧急声明，称Sora正处于内测阶段，并未对外开放。即使开放，Sora能够作为产品使用的时间也仍旧遥遥无期。而在卖课之外，也有许多人在利用Sora的热度疯狂拉人头，积攒私域流量。例如在朋友圈散发二维码拉人入群，热衷宣扬“Sora首部AI电影共创剧本海选开始！”以及“我们都有机会成为第一代AI导演！”等言论。也有像地推人员一样在AI群中通过私信加好友，以“改变命运”、“破圈”为噱头，索要999元入群，声称共同踏上新世界之门。更谨慎的则会借着Sora的理由，夸大作用将其吹捧成改变命运、实现财富自由的机会，以此为理由推销《短视频矩阵引流解决方案》等相关课程，声称只有先学好这些，才能成为第一批通过Sora赚钱的人。归根结底，Sora带来的AI割韭菜事件，和用小礼品吸引大妈买保健品一样，本质上就是割韭菜，贩卖焦虑赚信息差的钱。真实视频假冒Sora制作，已成流量密码除此之外，给真实视频标注“该作品由人工智能Sora生成”，也成了当下的流量密码。事情的起因还得从Sora公布当天说起，X上有一位博主发布了一段由Sora生成的维多利亚凤冠鸠视频，注明了产生它的指令。同时在开头强调了这样一句话：该视频由OpenAI的新模型Sora生成。视频不出意外得到数千转发，登上了热门，一瞬便激起了广泛的讨论。随后就有不少网友发现，网上除了Sora公开的一小部分影片作品，突然多了许多标注“该视频由OpenAI的新模型Sora生成”的视频，甚至发布者还贴心地附上了“生成指令”。然而实际上，这些视频几乎都是用真实视频假冒的Sora视频，并非Sora生成。比如最近，号称“视频生成界的图灵测试”的威尔·史密斯吃意大利面的视频又重出江湖。视频画面上半段显示是一年以前的 AI 视频，下半段则显示现在的 AI 视频。要知道，一年前由AI生成的“威尔·史密斯吃意大利面”视频效果并不理想，其中涉及到处理人物手势、面条形状以及进食动作等方面都面临着巨大挑战。相较之下，据称由Sora生成的视频效果却出奇地出色，生成的手势和面条都表现得非常逼真，似乎已经成功应对了图灵测试。结合最近OpenAI展示的各种Sora生成结果，很多人开始相信：这是Sora生成的新视频，显示出现代视频生成AI已经达到了以假乱真的水平。然而，实际情况却是该视频并非由Sora生成，而是由威尔·史密斯本人亲自录制。那Sora究竟能不能生成吃意大利面的场景呢？这个问题目前还没有测试结果。有网友调侃，现在怎么分辨真的真视频，假的真视频，真的假视频，假的假视频，是一大难题。很显然，视频界的混淆矩阵已经出来了。关于这个问题，也引起了很多专业人士的热议。Keras之父François Chollet就表示，像Sora这样的视频生成模型确实嵌入了物理模型，但问题是：这个物理模型是否准确？它能否泛化到新的情况，即那些不仅仅是训练数据插值的情形？简单来说，就是François Chollet认为，Sora只达到了人类做梦的水平，但是逻辑能力依然不行。从Sora官方公布的视频中，也可以观察到一些逻辑错误，进一步证实了这个问题。未来，Sora距离真正“以假乱真”还有一段很长的路要走。 ... PC版： 手机版：

消失十年的舒马赫 给AI造假定了“起步价”

消失十年的舒马赫 给AI造假定了“起步价” 事出一年前。2023年4月15日，《Die Aktuelle》刊登了一张舒马赫微笑的照片，并在旁边配上“Welt-Sensation”“Michael Schumacher Das erste Interview”两个放大的标题，翻译成中文就是“轰动世界”、“迈克尔·舒马赫的首次采访”，以吸引读者的眼球。舒马赫于2013年底在一次滑雪事故中头部受重伤，几乎丧命，自此再未在公众场合露面。十多年间，有关他的健康状况及隐私都被家人严格保密，且一直保护得很好。在舒马赫16年的F1职业生涯中，他总共拿下91场比赛的胜利，并7次获得年度车手总冠军，被业界和车迷冠以“车王”称号。即便从公众视野消失十多年，但他在F1车迷和来自世界各地粉丝心中的分量不减分毫，自舒马赫受伤以来，他的粉丝通过后援会、社交媒体、线下活动等多种途径和方式表达对“车王”的支持。▲德国科朋迈克尔-舒马赫赛车中心，车王的支持者在围栏上挂满了帽子和T恤表达支持在X平台上，舒马赫的专属标签#KeepFightingMichael#至今每天都有诸多参与者。不过，除了向外界展现舒马赫在当下仍具备世界级的影响力和号召力的同时，也让其仍然可以成为一个顶级流量来源，是传统媒体和社交平台们都趋之若鹜的潜在话题。全民社交时代，流量即利益，这也是《Die Aktuelle》制造“AI舒马赫”的推手。近年来以AI形式扮演名人制造“对话”案例实际上并不少。但这篇有关报道最为人诟病的是，它极其误导性地暗示了舒马赫披露的是关于全世界最关注的有关他身体健康的细节，文中引用了“舒马赫”的话，还讨论了他在滑雪事故后的身体状况以及近十年来的生活。人们也很快发现《Die Aktuelle》的这篇报道是利用人工智能伪造的，虽然该杂志事前为自己留了两手：一是在杂志封面的最下方用小了好几号的字体写着，“Es klingt täuchend echt（这听起来让人难以置信）”；二是在文章末尾承认采访中的舒马赫“引语”全是由人工智能生成的。但该事件一出，全世界舆论哗然。外界最大的批评正是认为该杂志严重侵犯了病人的隐私、突破了人类道德底线和新闻伦理标准。舒马赫家人在新闻出来6天后发表公开声明，“计划对Funke旗下的这家杂志采取法律行动。”Funke媒体集团在舒马赫家人称要对其提起法律诉讼后做出回应，“《Die Aktuelle》杂志总编即日起被解雇，”后者从2009年以来一直任该杂志总编，此外在道歉声明中，Funke解释称，“这一既没品位、又具误导性的文章本应不该出现，它绝对不符合我们及读者对Funke这样的出版商所期待的新闻标准。”《Die Aktuell》杂志向来专报德国名流花边新闻，与舒马赫家族渊源颇深。早在2014年，即车王受伤的第二年，该杂志还刊登了一张舒马赫和妻子的照片，标题是“醒来”，2015年还捏造过舒马赫妻子的“私生活”。“Funke媒体集团向舒马赫家人赔偿20万欧元”这一结果不仅是舒马赫及家人的胜利，也是新闻领域的重要时刻，这应该是法律层面第一次对新闻行业滥用生成式AI表明了立场，也是法律上首次给借AI捏造违反新闻伦理和人类道德的造假行为做了一次“定价”。这次判决再次引发了全世界对AI捏造新闻报道的反思。自2022年底，ChatGPT的走红引爆了全球对生成式AI技术的应用和投资浪潮，生成式AI技术在不同场景中被不断解锁。虽然为人们的衣食住行，以及体育、娱乐等内容生产带来诸多便利，但其中暗藏的利益空间也对人类道德、伦理底线提出了挑战。人工智能的普及，生成式AI技术的飞速发展给造假和伪造提供了肥沃的土壤，“每当有新技术出现时，人类都希望将其推向极限”，The Ohio State University传播学副教授Nicole Kraft对AI的快速发展忧心道。轰动全球的AI“造假”事件早已有之，其中一些事件引发的恐慌和导致的结果比“造假”舒马赫更甚：2017年以来，借AI算法制造假新闻频繁发生在政界以及选举中。2019年，据韩国MBC报道，一款名为“Lee Luda”的AI语音软件可以模仿任何人的声音，甚至可以让他们说出未曾说过的话，此新闻一出，引起全球对此类技术是否会导致虚假和误导性信息传播的激烈讨论。2022年，Podcast.ai利用生成式人工智能技术，通过Play.ht的语言模型大量训练，模拟出了已故的乔布斯，并做成了一期20分钟时长的播客节目，音频中，主持人与“复活”的乔布斯探讨了对计算机、个人信仰以及AI等多个话题。外界对“复活”已故科技人士的做法的看法多是“毛骨悚然”，不少网友在社交平台表示，“说到底这是利用AI在全世界面前的一次公开造假。”2023年11月，ESPN用AI给密尔沃基雄鹿队的利拉德玩“换装”，身穿雄鹿队球衣在接受采访的他，原视频却是此前在效力开拓者队时的采访，ESPN用AI移花接木，在利拉德声音上做了处理上，制作了与原始声音源吻合的口型，“又是一次公开造假”。在中文社交网络上，外界对生成式AI也有批评声，一个重要起因正是由于一些个人或团体借生成式AI技术做起了去世之人的生意。网友用AI生成视频和声音“复活”了CoCo李玟、张国荣、乔任梁、高以翔等已故公众人物，制作者称去世公众人物的虚拟视频不做商用，但在视频下方评论区类似“咨询制作逝者视频怎么收费”评论不断，制作者更是给出了明码标价，借AI“造假”引流和卖产品的行径引发舆论哗然和外界质疑。目前，CoCo李玟的家人已采取了与舒马赫家人相同的做法，为保护个人权利，对这类滥用AI技术的“牟利”行为提起了法律诉讼。不少网友对此表示，“打着温情和怀念故人的幌子，说到底还是生意”，其中潜在的风险不言而喻。“造假”舒马赫在法律上有了结果，给后续想要再借AI和生成式技术做突破人类道德底线和新闻伦理行径的人发出了警告，即便利益在前，他们也必须更加谨慎行事，在AI造假史上极具里程碑意义。但在新技术的发展演进过程中，不同国家和地区制定并完善相关监管政策和法律法规的速度不一，惩处标准也不一。所以国内对类似“造假”舒马赫事件在法律层面会给出一个怎样的判罚结果，目前还不得而知。国家网信办等七部门去年联合发布了《生成式人工智能服务管理暂行办法》，以促进生成式AI健康发展和规范应用，算是国内对生成式AI的首个监管文件。每逢新技术的出现和发展，对人类都是机遇但也是挑战。在拥抱未来的时候，如何辅以严格监管和出台对应的法律法规，以使其中的风险真正转化为可能的机会，想必将会萦绕在接下来很长一段时间的AI狂潮中。 ... PC版： 手机版：