LeCun哈佛演讲PPT放出：唱衰自回归LLM 指明下一代AI方向

LeCun哈佛演讲PPT放出：唱衰自回归LLM指明下一代AI方向LeCun给出了一个模块化的认知架构，它可能构成回答这些问题的途径。该架构的核心是一个可预测的世界模型，它允许系统预测其行动的后果，并规划一系列行动来优化一组目标。目标包括保证系统可控性和安全性的护栏。世界模型采用了经过自监督学习训练的分层联合嵌入预测架构（H-JEPA）。LeCun的演讲围绕多方面展开。开始部分，LeCun介绍了目标驱动的人工智能。LeCun指出与人类、动物相比，机器学习真的烂透了，一个青少年可以在大约20小时的练习中学会开车，小朋友可以在几分钟内学会清理餐桌。相比之下，为了可靠，当前的ML系统需要通过大量试验进行训练，以便在训练期间可以覆盖最意外的情况。尽管如此，最好的ML系统在现实世界任务（例如驾驶）中仍远未达到人类可靠性。我们距离达到人类水平的人工智能还差得很远，需要几年甚至几十年的时间。在实现这一目标之前，或许会先实现拥有猫类（或者狗类）级别智能的AI。LeCun强调AI系统应该朝着能够学习、记忆、推理、规划、有常识、可操纵且安全的方向发展。LeCun再一次表达了对自回归LLM的不满（从ChatGPT到Sora，OpenAI都是采用的自回归生成式路线），虽然这种技术路线已经充斥了整个AI界，但存在事实错误、逻辑错误、不一致、推理有限、毒性等缺陷。此外，自回归LLM对潜在现实的了解有限，缺乏常识，没有记忆，而且无法规划答案。在他看来，自回归LLM仅仅是世界模型的一种简化的特殊情况。为了实现世界模型，LeCun给出的解决方案是联合嵌入预测架构（JEPA）。LeCun花了大量篇幅介绍JEPA相关技术，最后他给出了简单的总结：放弃生成模型，支持联合嵌入架构；放弃概率模型，支持基于能量的模型（EBM）；放弃对比方法，支持正则化方法；放弃强化学习，支持模型-预测控制；仅当规划无法产生结果时才使用强化学习来调整世界模型。在开源问题上，LeCun认为开源AI不应该因为监管而消失，人工智能平台应该是开源的，否则，技术将被几家公司所掌控。不过为了安全起见，大家还是需要设置共享护栏目标。对于AGI，LeCun认为根本不存在AGI，因为智能是高度多维的。虽然现在AI只在一些狭窄的领域超越了人类，毫无疑问的是，机器最终将超越人类智能。机器学习烂透了，距离人类水平的AI还差得远LeCun指出AI系统应该朝着能够学习、记忆、推理、规划、有常识、可操纵且安全的方向发展。在他看来，与人类和动物相比，机器学习真的烂透了，LeCun指出如下原因：监督学习（SL）需要大量标注样本；强化学习（RL）需要大量的试验；自监督学习（SSL）效果很好，但生成结果仅适用于文本和其他离散模式。与此不同的是，动物和人类可以很快地学习新任务、了解世界如何运作，并且他们（人类和动物）都有常识。随后，LeCun表示人类需要的AI智能助理需要达到人类级别。但是，我们今天距离人类水平的人工智能还差得很远。举例来说，17岁的少年可以通过20小时的训练学会驾驶（但AI仍然没有无限制的L5级自动驾驶），10岁的孩子可以在几分钟内学会清理餐桌，但是现在的AI系统还远未达到。现阶段，莫拉维克悖论不断上演，对人类来说很容易的事情对人工智能来说很难，反之亦然。那么，我们想要达到高级机器智能（AdvancedMachineIntelligence，AMI），需要做到如下：从感官输入中学习世界模型的AI系统；具有持久记忆的系统；具有规划行动的系统；可控和安全的系统；目标驱动的AI架构（LeCun重点强调了这一条）。自回归LLM糟糕透了自监督学习已经被广泛用于理解和生成文本，图像，视频，3D模型，语音，蛋白质等。大家熟悉的研究包括去噪Auto-Encoder、BERT、RoBERTa。LeCun接着介绍了生成式AI和自回归大语言模型。自回归生成架构如下所示：自回归大语言模型（AR-LLM）参数量从1B到500B不等、训练数据从1到2万亿token。ChatGPT、Gemini等大家熟悉的模型都是采用这种架构。LeCun认为虽然这些模型表现惊人，但它们经常出现愚蠢的错误，比如事实错误、逻辑错误、不一致、推理有限、毒性等。此外，LLM对潜在现实的了解有限，缺乏常识，没有记忆，而且无法规划答案。LeCun进一步指出自回归LLM很糟糕，注定要失败。这些模型不可控、呈指数发散，并且这种缺陷很难修复。此外，自回归LLM没有规划，充其量就是大脑中的一小部分区域。虽然自回归LLM在协助写作、初稿生成、文本润色、编程等方面表现出色。但它们经常会出现幻觉，并且在推理、规划、数学等方面表现不佳，需要借助外部工具才能完成任务。用户很容易被LLM生成的答案所迷惑，此外自回归LLM也不知道世界是如何运转的。LeCun认为当前AI技术（仍然）距离人类水平还很远，机器不会像动物和人类那样学习世界的运作方式。目前看来自回归LLM无法接近人类智力水平，尽管AI在某些狭窄的领域超过了人类。但毫无疑问的是，最终机器将在所有领域超越人类智慧。目标驱动的AI在LeCun看来，目标驱动的AI即自主智能（autonomousintelligence）是一个很好的解决方案，其包括多个配置，一些模块可以即时配置，它们的具体功能由配置器（configurator）模块确定。配置器的作用是执行控制：给定要执行的任务，它预先配置针对当前任务的感知（perception）、世界模型（worldmodel）、成本（cost）和参与者（actor）。关于这部分内容，大家可以参考：思考总结10年，图灵奖得主YannLeCun指明下一代AI方向：自主机器智能目标驱动的AI中最复杂的部分是世界模型的设计。设计和训练世界模型关于这部分内容，我们先看LeCun给出的建议：放弃生成模型，支持联合嵌入架构；放弃概率模型，支持基于能量的模型（EBM）；放弃对比方法，支持正则化方法；放弃强化学习，支持模型-预测控制；仅当规划无法产生结果时才使用强化学习来调整世界模型。LeCun指出生成架构不适用于图像任务，未来几十年阻碍人工智能发展的真正障碍是为世界模型设计架构以及训练范式。训练世界模型是自监督学习（SSL）中的一个典型例子，其基本思想是模式补全。对未来输入（或暂时未观察到的输入）的预测是模式补全的一个特例。在这项工作中，世界模型旨在预测世界状态未来表征。联合嵌入预测架构（JEPA）LeCun给出的解决方案是联合嵌入预测架构（JEPA），他介绍了联合嵌入世界模型。LeCun进一步给出了生成模型和联合嵌入的对比：生成式：预测y（包含所有细节）；联合嵌入：预测y的抽象表示。LeCun强调JEPA不是生成式的，因为它不能轻易地用于从x预测y。它仅捕获x和y之间的依赖关系，而不显式生成y的预测。下图显示了一个通用JEPA和生成模型的对比。LeCun认为动物大脑的运行可以看作是对现实世界的模拟，他称之为世界模型。他表示，婴儿在出生后的头几个月通过观察世界来学习基础知识。观察一个小球掉几百次，普通婴儿就算不了解物理，也会对重力的存在与运作有基础认知。LeCun表示他已经建立了世界模型的早期版本，可以进行基本的物体识别，并正致力于训练它做出预测。基于能量的模型（通过能量函数获取依赖关系）演讲中还介绍了一种基于能量的模型（EBM）架构，如图所示，数据点是黑点，能量函数在数据点周围产生低能量值，并在远离高数据密度区域的地方产生较高能量，如能量等高线所示。训练EBM有两类方法...PC版：https://www.cnbeta.com.tw/articles/soft/1429746.htm手机版：https://m.cnbeta.com.tw/view/1429746.htm

6月14日消息，图灵奖得主、Meta首席AI科学家杨立昆（YannLeCun）联合Abacus.AI、纽约大学等机构推出全新的大

6月14日消息，图灵奖得主、Meta首席AI科学家杨立昆（YannLeCun）联合Abacus.AI、纽约大学等机构推出全新的大模型测评基准LiveBenchAI，并公布首个测评榜单。阿里云通义千问刚刚开源的大模型Qwen2-72B成为排名最高的开源大模型，是前十榜单中唯一的开源大模型、唯一的中国大模型，成绩超过Meta的Llama3-70B模型。目前，Qwen系列开源模型目前下载量已经突破1600万。（全天候科技）

Meta推出先进大型语言模型 下一个ChatGPT不远了？

Meta推出先进大型语言模型下一个ChatGPT不远了？同ChatGPT、NewBing不同，LLaMA并不是一个任何人都可以与之对话的产品，也并未接入任何Meta应用。更为确切地说，该产品将是一个开源的“研究工具”。公司CEO扎克伯格在社交媒体上表示，LLaMA旨在帮助研究人员推进研究工作，LLM（大型语言模型）在文本生成、问题回答、书面材料总结，以及自动证明数学定理、预测蛋白质结构等更复杂的方面也有很大的发展前景。1、开源的“研究工具”Meta表示，LLaMA可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者，正在接受研究人员的申请。此外，LLaMA将提供底层代码供用户使用，因此用户可以自行调整模型，并将其用于与研究相关的用例。与之截然不同的是，Google旗下的DeepMind和OpenAI并不公开训练代码。该公司还表示，LLaMA作为一个基础模型被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。2、比GPT3.5性能更强根据Meta官网介绍，LLaMA包含4个基础模型，参数分别为70亿、130亿、330亿和650亿。其中，LLaMA65B和LLaMA33B在1.4万亿个tokens上训练，而最小的模型LLaMA7B也经过了1万亿个tokens的训练。Meta表示，在大多数基准测试中，参数小的多的LLaMA-13B的性能优于GPT3.5的前身GPT3-175B，而LLaMA-65B更可与业内最佳的Chinchilla-70B和PaLM-540B竞争。值得一提的是，近期大火的ChatGPT便是由GPT3.5提供支持。Meta还提及，LLaMA-13B对算力的要求“低得多”，可以在单个数据中心级GPU（NVIDIATeslaV100）上运行。扎克伯格写道：“Meta致力于这种开放的研究模式，我们将向AI研究社区提供我们的新模型。”值得一提的是，去年5月，Meta也曾推出过大型语言模型OPT-175B。该项目同样也是针对研究人员的，这构成了其聊天机器人blenterbot新迭代的基础。后来，该公司还推出了一款名为“卡拉狄加”（Galactica）的模型，但因经常分享偏见和不准确的信息而遭到下架。据媒体报道，扎克伯格已将人工智能作为公司内部的首要任务，其本人也经常在财报电话会议和采访中谈论它对改进Meta产品的重要性。媒体分析称，虽然现在LLaMA没有在Meta产品中使用，但未来不排除使用的可能。...PC版：https://www.cnbeta.com.tw/articles/soft/1346389.htm手机版：https://m.cnbeta.com.tw/view/1346389.htm

谷歌最新人工智能模型 Gemini Pro 已在欧洲上市，将与 ChatGPT 竞争

谷歌最新人工智能模型GeminiPro已在欧洲上市，将与ChatGPT竞争谷歌表示，GeminiPro是谷歌最大的人工智能(AI)模型之一，作为巴德(Bard)的升级版，现已向欧洲用户开放。该模型是一个多模态大模型，这意味着它可以理解和组合不同类型的信息，如文本、代码、音频、图像和视频。通过Gemini，谷歌希望能与OpenAI的热门聊天机器人ChatGPT进行竞争。

谷歌最新人工智能模型Gemini Pro已在欧洲上市，将与ChatGPT竞争

谷歌最新人工智能模型GeminiPro已在欧洲上市，将与ChatGPT竞争谷歌表示，GeminiPro是谷歌最大的人工智能(AI)模型之一，作为巴德(Bard)的升级版，现已向欧洲用户开放。该模型是一个多模态大模型，这意味着它可以理解和组合不同类型的信息，如文本、代码、音频、图像和视频。通过Gemini，谷歌希望能与OpenAI的热门聊天机器人ChatGPT进行竞争。投稿：@TNSubmbot频道：@TestFlightCN

吴恩达LeCun直播回怼马斯克：汽车都没发明要什么安全带

吴恩达LeCun直播回怼马斯克：汽车都没发明要什么安全带AI研究暂停6个月，才是真正巨大的伤害。应该受监管的是AI产品，而不是背后的研究。此前暂停比GPT-4强大的AI试验的呼吁，已得到深度学习三巨头中的YoshuaBengio签名支持，Hinton未签名但表示“要比6个月更长才行”。此次吴恩达与LeCun两人，除了直播阐述各自的观点外，还回应了网友关心的更多问题。观看了直播和视频回放的网友们则表示，视频出境比推特发言提供了更多的上下文背景和微妙的语气差异。AGI逃出实验室，需要担心吗？LeCun认为，现在人们对AI的担忧和恐惧应分为两类：一、与未来有关的，AI不受控制、逃离实验室、甚至统治人类的猜测。二、与现实有关的，AI在公平、偏见上的缺陷和对社会经济的冲击。对第一类，他认为未来AI不太可能还是ChatGPT式的语言模型，无法对不存在的事物做安全规范。汽车还没发明出来，该怎么去设计安全带呢？对第二类担忧，吴恩达和LeCun都表示监管有必要，但不能以牺牲研究和创新为代价。吴恩达表示，AI在教育、医疗等方面创造巨大价值，帮助了很多人。暂停AI研究才会对这些人造成伤害，并减缓价值的创造。LeCun认为，“AI逃跑”或者“AI统治人类”这种末日论还让人们对AI产生了不切实际的期待。ChatGPT给人带来这种想法是因为它语言流利，但语言并不是智能的全部。语言模型对现实世界的理解非常表面，尽管GPT-4是多模态的，但仍然没有任何对现实的“经验”，这就是为什么它还是会一本正经地胡说八道。而且这个问题，4年前LeCun已经在《科学美国人》上与冷泉港实验室神经科学家AnthonyZador一起撰文回应过了，标题就叫《不必害怕终结者》。在直播节目中LeCun再次重申了文章的主要观点。统治的动机只出现在社会化物种中，如人类和其他动物，需要在竞争中生存、进化。而我们完全可以把AI设计成非社会化物种，设计成非支配性的（non-dominant）、顺从的（submissive）、或者遵守特定规则以符合人类整体的利益。吴恩达则用生物科学史上的里程碑事件“阿希洛马会议”来比较。1975年，DNA重组技术刚刚兴起，其安全性和有效性受到质疑。世界各国生物学家、律师和政府代表等召开会议，经过公开辩论，最终对暂缓或禁止一些试验、提出科研行动指南等达成共识。吴恩达认为，当年的情况与今天AI领域发生的事并不一样，DNA病毒逃出实验室是一个现实的担忧，而他没有看到今天的AI有任何逃出实验室的风险，至少要几十年甚至几百年才有可能。在回答观众提问“什么情况下你会同意暂停AI研究？”时，LeCun也表示应该区分“潜在危害、真实危害”与“想像中的危害”，当真实危害出现时应该采取手段规范产品。第一辆汽车并不安全，当时没有安全带、没有好的刹车、也没有红绿灯，过去的科技都是逐渐变安全的，AI也没什么特殊性。而对于“如何看待YoshuaBengio签署了联名？”这个问题，LeCun表示他和Bengio一直是朋友，他认为Bengio担心的点在于“公司为了盈利掌握科技本质上就是坏的”，但他自己不这么看待，两人观点一致之处在于AI研究应该公开进行。Bengio最近也在个人网站详细解释了他为什么会签署。随着ChatGPT到来，商业竞争激烈了十多倍，风险在于各公司会急于开发巨大的AI系统，把过去十几年间开放的透明的习惯抛在脑后。直播结束后，吴恩达与LeCun两人还在与网友做进一步交流。对于“你为什么不相信AI会逃出实验室”，LeCun表示让AI在一个特定硬件平台上保持运行都很难了。对于“AI达到奇点发生突变、不受控制”的回应则是，在现实世界中每个进程都会有摩擦力，指数增长会迅速变成Sigmoid函数。还有网友开玩笑说，语言模型经常被形容为“随机吐出词汇的鹦鹉”，但真实的鹦鹉危险多了，有喙、爪子和伤害人的意图。LeCun补充道，澳大利亚凤头鹦鹉更凶狠，我呼吁对凤头鹦鹉实施6个月的管制。OneMoreThing对于影响力越来越大的AI暂停6个月提案，也有越来越多的人表达自己的观点。比尔盖茨对路透社表示“我不认为让一个特定的组织暂停就会解决这些问题。在一个全球性的行业中，暂停很难执行”。据福布斯报道，谷歌前CEO埃里克施密特认为“监管部门大多数人对科技的理解还不足以正确规范其发展。另外如果在美国暂停6个月，只会让别的国家受益。”与此同时，AI研究界另一股声音的影响力也逐渐加大。由非赢利组织LAION-AI（StableDiffusion训练数据提供者）发起的请愿书也有超过1400人签署。这个项目呼吁建设公众资助的国际化超级AI基础设施，配备10万最先进的AI加速芯片，确保创新和安全。就相当于粒子物理学界的CERN（欧洲核子研究组织）。支持者包括LSTM之父JürgenSchmidhuber，HuggingFace联合创始人ThomasWolf等知名研究者。完整视频回放：https://www.youtube.com/watch?v=BY9KV8uCtj4&t=33sAI转写文本：https://gist.github.com/simonw/b3d48d6fcec247596fa2cca841d3fb7a参考链接：[1]https://twitter.com/AndrewYNg/status/1644418518056861696[2]https://blogs.scientificamerican.com/observations/dont-fear-the-terminator/...PC版：https://www.cnbeta.com.tw/articles/soft/1353661.htm手机版：https://m.cnbeta.com.tw/view/1353661.htm