马斯克造大模型从特斯拉连挖高管 要不他们可能就跳槽到OpenAI了

马斯克造大模型从特斯拉连挖高管 要不他们可能就跳槽到OpenAI了 该初创公司的网站显示，上个月，机器学习科学家 Ethan Knight 成为第三位投身 xAI 的特斯拉工程师。据一位前员工透露，在特斯拉，Knight 负责监督特斯拉自动驾驶技术的计算机视觉团队。而在他之前，一些在特斯拉从事超级计算、自动驾驶系统和人工智能基础设施的工作的工程师，也纷纷在过去 12 个月内转而加入 xAI。在该消息被媒体报道后，马斯克在 X（前 Twitter）上表示，因为 Knight 即将转向 OpenAI，所以自己才出手了，“要么是 xAI，要么是他们……OpenAI 一直在积极招募特斯拉工程师，并提供巨额薪酬。不幸的是，经常有成功挖人的例子。”“AI 人才争夺战是我见过的最疯狂的人才争夺战！”马斯克后来补充道，特斯拉正在增加 AI 工程人员的薪酬。从人才流动的方向或许可以看出，致力于发展人工智能的 xAI 正在成为马斯克的关注重点。这也凸显了马斯克倾向于为他的私人公司（包括 SpaceX 和 X）聘用上市公司特斯拉员工的倾向。自从 1 月份表示“在自己持有不到 25% 股票的情况下，特斯拉若成为人工智能和机器人领域的领导者会让自己深感不安”以来，马斯克旗下公司之间的人员流动具有了新的意义。马斯克的这条评论，是在特拉华州法官宣布他 560 亿美元特斯拉薪酬方案无效、将他的股份维持在约 13% 之前发出的。如果裁决成立，特斯拉董事会将不得不发布新的薪酬方案，而马斯克暗示的要减少特斯拉对人工智能关注的威胁，被认为可能会在这些谈判中发挥作用。自启动以来，xAI 的研发进展飞快，该公司先是推出了聊天机器人 Grok ，并可通过 X 平台直接访问。在上个月，马斯克兑现承诺将 3140 亿参数的 Grok-1 大模型开源，它成为了当前参数量最大的开源大语言模型。就在上周，Grok 演进到了 1.5 版本，在推理能力上获得了大幅度的升级，已支持长达 128k 的上下文。然而与此同时，特斯拉也经历了人才流失。Ethan Knight 是不到两年内第三位负责监督特斯拉计算机视觉项目的工程师。此前负责该项目的著名人工智能研究员 Andrej Karpathy 于 2022 年 5 月离开特斯拉，最终加盟了老东家 OpenAI。特斯拉用 John Emmons 取代 Karpathy，而后者也于 2023 年 5 月离开了特斯拉。Emmons 的领英个人资料显示，他去年秋天加入了 Salesforce，担任人工智能总监。特斯拉的计算机视觉团队致力于构建特斯拉车型上著名的 Autopilot 智能驾驶产品背后的先进 AI 能力，可让特斯拉电车实现智能辅助驾驶（Full Self-Driving，FSD）、自动泊车等功能。这项技术对于标榜智能化的特斯拉品牌至关重要。据报道，上周马斯克曾下令让特斯拉销售团队向所有潜在买家展示 FSD 能力，以促进该功能的销售，该功能的售价为 1.2 万美元，每月订阅费为 199 美元。马斯克表示，特斯拉目前已开始提供一个月的免费试用。另一方面，xAI 目前在网站上显示的技术员工数量为 32 名。其中包括 Ross Nordeen 他曾在特斯拉从事超级计算工作，并于 2023 年 5 月离开，并与马斯克共同创立了 xAI。Fabio Aguilera-Convers 于 2023 年 8 月离开特斯拉 Autopilot 团队，了加入 xAI。Tim Zaman 曾在特斯拉从事 AI 基础设施工作，后来在马斯克的另一家公司 X 从事人工智能工作。根据他的 LinkedIn 页面，他于 2023 年底加入了 Google DeepMind。特斯拉还在继续招聘，其 Autopilot 和 Optimus 机器人团队有数十名空缺职位，但如何与 AI 领域快速发展的初创公司争夺人才，是马斯克需要考虑的问题。本周二，特斯拉公布的 2024 年第一季度产量和交付报告让市场感到有点信心不足。报告期内，特斯拉共交付 386810 辆汽车，低于分析师先前平均预期的 449080 辆。这是特斯拉自 2022 年三季度以来首次跌破 40 万辆关口的记录，同时也是自 2020 年二季度以来的首次同比下跌：与去年第一季度 422875 辆的交付量相比减少了超 8.5%。看来在 AI 领域的人才争夺战中，马斯克的办法也不多。 ... PC版： 手机版：

OpenAI首席科学家Ilya离开OpenAI了吗？

OpenAI首席科学家Ilya离开OpenAI了吗？ OpenAI 联合创始人兼总裁格雷格·布罗克曼（Greg Brockman）、CTO 米拉·穆拉蒂（Mira Murati）等人，也在积极为 Sora 宣传。但伊尔亚的最后一条推文，停留在了 2023 年 12 月 15 日。OpenAI 在其官网上的 Sora 的文章后面留下了团队成员的名字。在一串致谢名单中，我们看到了萨姆·奥尔特曼、格雷格·布罗克曼、米拉·穆拉蒂等人的名字，但唯独没有出现伊尔亚·苏茨克维。这不禁让人怀疑，伊尔亚究竟是在埋头研究 GPT-5，还是已经离开了 OpenAI ？值得一提的是，OpenAI 创始成员之一、AI 技术研究员安德烈·卡帕蒂（Andrej Karpathy）在Sora 发布前夕离职。有网友大胆猜想：“如果 Andrej 和 Ilya 创办一家真正开放的人工智能公司怎么办？”1.“我们终于知道伊尔亚看到什么了”今天，OpenAI 最新发布的 Sora 模型再次让人们感受到了人工智能的强大，强大到令人害怕。Sora 不仅仅是一个视频生成模型，它涌现出了对物理世界的理解能力（尽管还存在局限），OpenAI 直接将其定义为“世界模拟器”（world simulators）它打开了一条通往模拟物理世界的有效路径。不少人感慨，“现实不存在了”，“物理学不存在了”。人们似乎在这一刻终于理解了伊尔亚为什么一直执着于人工智能的安全性研究。强大的 AI 模型对世界带来的风险并非遥不可及。有网友表示：“现在，我们知道伊尔亚看到什么了。”埃隆·马斯克则在贴子里留下了一个笑哭的表情。去年，随着 GPT-4 以及后续一系列更强大的大语言模型的更新，以伊尔亚为代表的 OpenAI 成员越来越多地考虑 AI 的可控性问题。为此，OpenAI 在 2023 年 7 月 5日宣布成立一个新的团队“超级对齐”（Superalignment），来研究引导和控制比人类聪明得多的 AI 系统。这一项目由伊尔亚与同事简·莱克（Jan Leike）共同领导，并将 OpenAI 20% 的算力专门用于该项目的研究。一般认为，去年 11 月闹得沸沸扬扬的 OpenAI “宫斗事件”的导火索，就是伊尔亚对于 AI 的发展理念与萨姆产生了分歧，伊尔亚越来越担忧 OpenAI 的技术可能造成极度危险的局面，他觉得萨姆对待 AI 应该更加谨慎。显然，萨姆并没有停下来。在硅谷，对于 AI的不同态度把人群分成了保守派与激进派。保守派也被称为EA（Effective Altruism，有效利他主义），代表人物是“人工智能教父”杰弗里·辛顿（Geoffrey Hinton），伊尔亚就是他的学生。激进派被称为“e/acc（有效加速主义）”，很多知名的科技大佬、AI 从业者都是 e/acc 主义的信徒。萨姆并未公开表达过自己的立场，但考虑到他带领下的 OpenAI 一系列激进的产品发布节奏，事实上他已经成为 e/acc 的代言人。伊尔亚联合董事会成员罢免了萨姆。但在大股东微软的斡旋与 OpenAI 全体员工请辞的压力下，伊尔亚最终妥协让步，萨姆在几天后重新回到了 OpenAI 并掌权，并重组了董事会。宫斗事件结束后，伊尔亚并没有立即离开 OpenAI，萨姆希望继续他们之间的工作关系，并正在讨论他如何继续在 OpenAI 的工作。萨姆表达了对伊尔亚的谢意：“我尊重并热爱着伊尔亚，我认为他是这个领域的指路明灯，也是人类的瑰宝。我对他的恶意为零。”但去年外媒一篇报道曾指出，伊尔亚似乎处于一种“迷茫”的状态，在 OpenAI 变得“隐形”。自萨姆回归以来，伊尔亚就没有出现在 OpenAI 旧金山的办公室内。 马斯克也向伊尔亚抛出了橄榄枝，他表示伊尔亚应该加入特斯拉或他的 AI 公司 xAI。伊尔亚对于人工智能安全的工作还在继续。12 月 14 日，OpenAI 发布了超级对齐项目的最新研究论文：使用 GPT-2 级别的小模型来监督 GPT-4 级别的大模型，并获得接近 GPT-3.5 级别的性能。同时，OpenAI 宣布与 Eric Schmidt 合作，启动了一项 1000 万美元的资助计划支持技术研究，以确保超人类人工智能系统的一致性和安全性。作为该论文核心作者之一的伊尔亚，也在 X 上转发了相关内容。但这是宫斗事件至今，伊尔亚在 X上转发的关于 OpenAI 进展的唯一内容。我们暂时无法得知伊尔亚是否已经离开了 OpenAI ，但他对于 Sora 的沉默态度似乎并不寻常。伊尔亚在签名上写着：“朝着拥抱人性多样化的通用人工智能发展。”2.人才是 OpenAI 的核心竞争力虽然伊尔亚并不在 Sora 的研究团队中，但 Sora 仍然表现出了压倒性的性能优势，可见人才密度是 OpenAI 领先的重要因素。Sora 团队整体非常年轻。核心成员有三位，分别是研究负责人Bill Peebles（比尔·皮布尔斯）与 Tim Brooks（蒂姆·布鲁克斯）与系统主管 Connor Holmes。Conner Holmes 曾是微软研究员，在微软工作时以外援形式参与了 DALL·E 3 的推理优化工作，后来跳槽加入 OpenAI 。Bill Peebles 本科就读于 MIT，主修计算机科学，参加了 GAN 和 text2video 的研究，还在英伟达深度学习与自动驾驶团队实习，研究计算机视觉。毕业后正式开始读博之前，他还参加了 Adobe 的暑期实习，研究的依然是 GAN。2022年5月，Bill 到 Meta 进行了为期半年的实习，和谢赛宁（ Bill 开始实习时还未离开 Meta）合作发表了 DiT 模型，首次将 Transformer 与扩散模型（Diffusion Model）结合到了一起。从加州大学伯克利分校博士毕业之后，Bill 加入了 OpenAI。Sora 的模型架构，就是参考了 Bill 与 谢赛宁合作发表的 DiT 论文。值得一提的是，该论文主要聚焦在了 DiT 架构在图像生成领域的性能表现。有人推测，随着 Bill 加入OpenAI ，他很可能把自己在视频领域的研究成果，也带到了 OpenAI 的 Sora 项目中。Sora 的另一个核心作者是 Tim Brooks，曾在 Google 负责 Pixel 手机摄像头的机器学习工作，以及在英伟达负责视频生成模型研究。2023 年从加州大学伯克利分校博士毕业后，Tim 加入 OpenAI，参与了 DALL·E 3 相关研究。在其他几位作者中，也包括两位华人 Li Jing 与 Yufei Guo。今天，上海交大校友、目前在纽约大学担任助教的谢赛宁在朋友圈辟谣了自己是 Sora 作者之一的消息。他表示，Sora 是 Bill 他们在 OpenAI 的呕心沥血之作，虽然不知道细节，但他们每天基本不睡觉高强度工作了一年。同时，谢赛宁也对 Sora 发表了他的观点：第一，对于 Sora 这样的复杂系统，人才第一，数据第二，算力第三，其他都没有什么是不可替代的；第二，在问 Sora 为什么没出现在中国的同时，可能也得问问假设真的出现了（可能很快），我们有没有准备好？如何能保证知识和创意的通畅准确传播让每个人拥有讲述和传播自己故事的“超能力”，做到某种意义上的信息平权。但是又不被恶意利用，变成某些人某些组织的谋利和操纵工具。oai 有一整套的 redteaming, safety guardrail 的研究部署，欧美有逐渐成熟的监管体系，我们准备好了吗？这件事跟技术成熟前，生成点小打小闹的漂亮图片不是一个量级，真相捕捉和黑镜里讲的故事，很有可能很快变成现实。（封面图来自 X，左边为安德烈·卡帕蒂，右边为伊尔亚·苏茨克维） ... PC版： 手机版：

OpenAI向左，Meta往右

OpenAI向左，Meta往右 与OpenAI拒绝Open他们的算法、路线、论文相反，Meta选择Open到底。此前震惊业内的大模型LLaMA，大获好评的LLaMA 2，以及正在研发的LLaMA 3，都是开源的。它们成为很多AI公司研究、学习甚至抄袭的对象。通过开源这一手段，Meta在某种程度上打破了大模型的垄断，成为OpenAI和Google双雄相争之外的第三股力量。一些人将扎克伯格视为大模型时代的英雄，有人在扎克伯格的帖子下留言，建议Meta更名为OpenAI，OpenAI更名为CloseAI。事实上，Meta过去开源了它研发的几乎所有基础设施，比如用于Web和APP开发框架的React，以及机器学习框架PyTorch，而ChatGPT就是基于PyTorch开发的，OpenAI也运行在PyTorch上。按照Meta首席科学家杨立昆的话说，除Google外，全世界都运行在PyTorch上，因为Google有自己的系统。只是，这些东西在过去都被Meta的负面新闻掩盖了干预选举进程、提供虚假信息、危害青少年健康，在硅谷，骂Facebook曾是一种“政治正确”， 人们认为这是一家价值观败坏的公司。如今风评大变，Meta一时仿佛成了整个AI圈的希望，它的股价在2023年上涨了160%，在美国前五大科技巨头中涨幅仅次于英伟达，最近重返万亿美元市值，股价创新高。而曾以挑战者姿态崛起的OpenAI，前不久刚经历了一场宫斗，散发出越来越浓的铜臭味。OpenAI向左，Meta往右，两家原本没有太多交集的公司，正走出截然不同的路。OpenAI，走向封闭在讨论这两家公司的境况之前，我们先把时间拉回到十年前。2013年，有一家叫DeepMind的AI公司，同时引起了Google和Facebook（当时还没更名为Meta）的注意。当时这家公司刚崭露头角，嗅觉敏锐的Google和Facebook都想收购它。最终，Google在竞购中胜出，2014年1月将DeepMind收入囊中。三年后，DeepMind开发的AI机器人AlphaGo，以4：1击败了韩国围棋冠军李世石，一举成名。Google收购DeepMind时，有两个人心里很不是滋味。一个是扎克伯格，他当时已经意识到AI的巨大前景；另一个是马斯克，他不想AI被Google这样的大公司控制。于是，扎克伯格决定自己做，他花重金从纽约大学请来了计算机科学领域的权威人物杨立昆，启动FAIR项目，在Facebook成立了AI实验室。马斯克则和奥尔特曼成立了OpenAI，用来对抗Google。从当时的情形来看，扎克伯格是为了自己的公司，马斯克是为了全人类。马斯克认为，由大公司控制的少量AI系统很不安全，唯一的办法是让尽可能多的人都拥有AI。所以OpenAI一开始就定位开源，是一个非营利性的机构。马斯克当时说：“我们希望有一种类似于Linux版本的AI，不受任何个人或公司的控制。”一个为私，一个为公，两家公司一开始就选了不同的路。马斯克提到的Linux，是一款免费开源的操作系统。在互联网早期，计算机刚开始普及时，可用的操作系统不多，要么源代码被软件厂商严格保密，要么收取很高昂的费用。一个欧洲大学生开发出Linux操作系统的雏形，然后免费对外公开了自己的代码。由于开源，全球程序员都加入进来改进代码，最终创造了Linux操作系统，且使用完全免费。这大大加速了计算机的普及。我们今天熟知的Android系统，就是基于Linux内核，全球大部分手机都跑在这个系统上。马斯克的想法很简单，AI时代也需要有这样一个开源开放的操作系统，市场不能让巨头独占。OpenAI的启动资金来源于一批科技大佬捐赠，它一开始的确是按开源的路径走的，2019年发布的GPT-2，就是一个开源大模型，当年还有人用GPT-2为《权利的游戏》改写剧本结尾。但也是在GPT-2发布之后，OpenAI逐渐走向封闭。它随后成立营利性子公司，接受了微软的数十亿美元投资。在那之后，2020年发布的GPT-3，2022年升级的GPT-3.5，以及2023年3月发布的GPT-4，都是闭源模型，一开始OpenAI还公布论文，到后来连模型具体参数都不再公布。而从整个大模型行业的竞争格局来看，“OpenAI-微软”“DeepMind-Google”的双巨头组合格局正式形成。马斯克对此非常不满。他说，OpenAI设立时是一家开源公司，现在变成了一个闭源、受微软控制的逐利公司。这根本不是他想要的。这期间Meta没闲着。除了折腾元宇宙，Meta的AI团队一直在研究大语言模型，并发布了一些开源项目。大家各做各的，互不干涉。在OpenAI发布ChatGPT的几周前，Meta发布了一个类似的聊天机器人Galactica，专门用于撰写科学论文。谁知道这个产品不仅没引起轰动，还招来一片骂声，网友痛斥它会破坏科学出版。以至于Meta的人取消了演示，觉都睡不着。当时人们关心的是Meta的元宇宙项目是不是快凉了，裁员裁到哪了，没人关心它的AI做得咋样。至于OpenAI，大家觉得它代表新势力，对它更加包容。按照杨立昆的说法，两周后ChatGPT问世，被视为救世主降临。随后的很长时间里，OpenAI都是全球科技界的当红炸子鸡，登上神坛夺走了所有目光。人们津津乐道于，OpenAI是如何冲破Google的封锁，对巨头形成压制。在崇尚个人英雄主义的美国，创业新秀挑战旧势力的剧本，向来充满话题性。于是大模型头部选手的竞争，变成了OpenAI和Google的双雄争霸。但一向好强的扎克伯格不会袖手旁观。Meta秘密研发的LLaMA大模型，已经箭在弦上。Meta才是全村的希望？2023年2月，ChatGPT发布之后3个月，LLaMA的第一个版本开源，一开始这个模型只能用作研究。7月，升级之后的LLaMA 2支持免费商用。Meta把模型训练数据、训练方法、数据标注等大量细节都公布了，起始代码全部开源。LLaMA 2性能非常突出，超过了所有的开源大模型。有人发现，其最大参数的版本比GPT-3参数量小，但效果更好。曾经跟着马斯克从OpenAI跳到特斯拉，后来又被OpenAI挖回去的科学家Andrej Karpathy，将LLaMA 2的发布视为人工智能和大模型发展过程中的重要一天，因为这“是任何人都可以拿到模型权重的最强大语言模型。”一时间，整个AI圈对Meta刮目相看。当一批巨头公司掀起大模型军备竞赛，试图通过技术封闭实现市场垄断时，Meta用LLaMA撕开了一条口子。OpenAI没做的事，Meta做到了。英诺天使基金合伙人王晟戏称杨立昆为“Klaus LeCun”（ 杨立昆英文名为Yann LeCun，Klaus Fuchs在二战期间向苏联提供了曼哈顿计划的信息）。王晟开玩笑：“不能只让美国拥有原子弹。”王晟发现，ChatGPT出现之后，科技圈对大模型热情且迷茫。投资人中很多是看热闹，“因为第一看不懂，第二不敢投，第三投不到。一个新的技术范式出现，没人知道它的能力边界在哪里。”王晟对“定焦”说，LLaMA开源对行业影响很大。“Meta过去这些年积累的大模型技术，本来都是不传之秘，结果一开源，迅速把很多认知拉平了。”之前，国内团队研发大模型，只能从零到一不断试错，一旦有个点被卡住了，即便从技术角度来说并不是太难，但靠自己可能也需要花一两年时间才能解决，需要亲自踩很多坑。现在Meta直接把它的经验和数据拿出来，在思路和方法上给了行业非常重要的指引。“在这个过程中大家学习了很多。假如没有LLAMA开源，国内大模型今天的水平可能会差很多，我们会大幅度被人甩下。”王晟说。这也是为什么国内一下子突然涌现出200多个大模型。王小川的百川智能在公司成立仅两个月就发布了一款大模型，其实就是借鉴了LLaMA。李开复的零一万物推出的大模型，也是使用LLaMA的开源模型架构。LLaMA开源对OpenAI最直观的影响，是有一堆中国公司跳出来“吊打”GPT。在他们的口径中，已经在多项指标上超过了GPT模型，虽然很多榜单都是刷出来的。更深层次的影响在于，大模型开源社区的力量快速壮大，全球的程序... PC版： 手机版：