马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI，因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向，讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0，接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度，根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中：Grok-1 强过 GPT-3.5，弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题")： 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。xAI已经将Grok-1的权重和架构在GitHub上开源。目前Grok-1的源权重数据大小大约为300GB。截至北京时间3月18日上午7时许，Grok-1项目收获了3400颗星。Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。xAI是马斯克去年刚刚成立的明星AI创企，其目的之一就是与OpenAI、Google、微软等对手在大模型领域进行竞争，其团队来自OpenAI、GoogleDeepMind、Google研究院、微软研究院等诸多知名企业和研究机构。此前马斯克刚刚“怒喷”OpenAI不够“Open”，后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”，但最终他并没有食言。今天，xAI还公布了Grok-1的更多细节：基础模型基于大量文本数据训练，未针对特定任务进行微调。3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%。xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。但此次xAI并没有放出Grok-1的具体测试成绩，其与OpenAI即将发布的GPT-5的大模型王者之战，必将成为业内关注的焦点。当然，马斯克发大模型，怎么会少的了大佬隔空对线“互怼”？xAI官方消息刚刚发布，ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动，在Grok官方账号评论下回复道：“偷了我的笑话。”马斯克自然不会示弱，马上说请告诉我OpenAI“Open”之处在哪里。马斯克高仿号也马上跑过来添油加醋，说我们都知道是Sam在运营ChatGPT的账号。值得一提的是，此次xAI发布Grok-1消息的封面图片，是由Midjourney生成，Grok给出了提示文本：一个神经网络的3D插图，具有透明节点和发光连接，展示不同粗细和颜色的连接线的不同权重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。原图： ... PC版： 手机版：

马斯克起诉OpenAI十八日后 Grok开源了

马斯克起诉OpenAI十八日后 Grok开源了 对此，有DeepMind研究工程师预测，Grok-1的能力应该比Meta的LLaMA-2要强，也有网友兴致勃勃地讨论，到底要怎样的配置才能运行这个当前开源社区参数量最大的大语言模型。而对于马斯克来说，开源Grok-1的重要目的，似乎也是为自己与与OpenAI的唇枪舌战再添一份底气就在开源同一时间，马斯克贴脸嘲讽：“我们也想了解更多关于OpenAI的‘open’部分。”事实上，“是否开源”一直是这两周以来马斯克与OpenAI争论的焦点。在那份3月1日公之于众的46页万字诉状里，马斯克的核心指控便是OpenAI偏离了公司成立时“为了人类福祉而非私人商业利益”的协议，也违背了“技术开源”的承诺，完全成为了“受控于微软的闭源子公司”。这是跌宕起伏的两周，一方是科技圈顶流的团队联创，一方是AI圈的当红炸子鸡，随着你来我往的怒斥与辩驳，一桩又一桩陈年秘辛被公开，一场又一场关乎AI、科技圈，甚至整个人类未来的讨论不断发生。而截止现在，图灵奖得主、纽约大学名誉教授、网景通讯公司创始人、微软Windows7系统开发者、狗狗币设计师……已有更多圈内圈外的人参与了进来。他们或是直接站队，或是激烈辩驳OpenAI真的违背了创始协议只想着赚钱了吗？他们究竟是微软的良好合作伙伴，亦或全然笼罩于其阴影之下？马斯克是否真的动机不纯，试图以特斯拉吞并OpenAI？自去年OpenAI的“宫斗大戏”中销声匿迹的前首席科学家苏茨克维（Ilya Sutskever），在此次事件中又扮演了怎样的角色？未来的GPT-4乃至AI，究竟要走向开源还是闭源？起诉与回击：真相如何？2015年12月，马斯克与奥特曼（Sam Altman）等人一同创立了OpenAI，3年之后，他离开了OpenAI董事会。此后，马斯克虽有指责OpenAI违背“非盈利组织”的创始宗旨，自己开设xAI公司推出竞品与ChatGpt公然打擂台的行为，但像这次，直接一纸诉状将OpenAI告上法庭，仍让不少人大跌眼镜。因此，3月1日消息刚出，讨论尚未完全发酵开来，大多数人都忙着消化诉状中的海量信息，包括马斯克披露的大量与奥特曼的私人邮件来往、OpenAI团队结构，以及两条核心的创始协议：1、OpenAI将作为一家非盈利机构，出于服务全人类利益的目的开发AGI，而非追求股东利润最大化；2、OpenAI将保持开源，除了部分安全因素，不会出于商业专利目的而将技术封闭保密。根据马斯克的指控，OpenAI已经违反了这两条创始协议，不仅将GPT-4（可视为AGI萌芽）独家授权给微软，拒绝向公众披露GPT-4的详细信息，还允许微软在官方口径里一直是OpenAI“良好的合作伙伴”的一家盈利公司对团队施行不当的影响或控制。根据诉状原文，在OpenAI去年11月“宫斗”期间，微软CEO纳德拉曾表示：“即使OpenAI明天消失了也无妨……我们拥有这些人才、算力、数据，乃至OpenAI的一切……我们在其之下，在其之上，在其四周。”5天之后，3月6日上午10点，OpenAI正式做出回应，在官网发布一篇长博客，称自己始终坚持使命，并针对马斯克的主张一一进行回复。对于“违背创始协议转向盈利”的指控，OpenAI表示，开发AGI所需的资源超乎他们想象，在最初创办OpenAI时这个数字是1亿美元，而到了2017年则是每年数十亿，金钱的压力迫使他们“为通往AGI规划一条更为合理的路径”，也就是转向盈利在这一点上，马斯克与他们在2017年前后达成了一致。而对于“开源闭源”之争，OpenAI也像马斯克一样直接放出了邮件记录：在2016年围绕马斯克的猎鹰9号火箭成功起飞的邮件往来里，OpenAI首席科学家苏茨克维表示“随着我们愈发接近AGI，降低开放度便具有了意义。OpenAI中的‘Open’意味着每个人都能从AI构建的成果里受益，不公开背后的科技也是完全可以的。”马斯克也对此表示肯定。在反驳马斯克的指控之外，OpenAI也细数了马斯克的“罪状”，也就是在2017年之后，OpenAI团队开始讨论具体的营利性组织架构时，马斯克提出，希望自己拥有多数股权和董事会的绝对控制权，并出任CEO，还提议将OpenAI并入特斯拉。在遭到拒绝后不久，便很快选择离开OpenAI。站队与辩驳：谁对谁错？两位主角都已接连登场，这下好戏便正式开唱。在OpenAI发声后的2个小时，Mosaic浏览器开发者、网景通信公司创始人安德里森（Marc Andreessen）带上OpenAI博客截图，并标黄了其中“随着我们愈发接近AGI，降低开放度便具有了意义。OpenAI中的‘Open’意味着每个人都能从AI构建的成果里受益，不公开背后的科技也是完全可以的”的部分，嘲讽道：“如果你相信这一点至少我不信你怎么不立刻把你的实验室国有化、军事化呢？”图灵奖得主，AI三巨头之一的杨立昆（LeCun）很快也转载上述帖子，称所谓强大到会为人类带来风险的“超级人工智能”并非指日可待，意指OpenAI所谓的“为安全而闭源”完全就是自欺欺人。“如果你出于某种天真和优越感，觉得自己是能生产出“超级人工智能”的人，而其他人都愚蠢到无法安全地处理它，那你可就错了。”这其实是杨立昆一贯以来的观点，他在去年10月接受英媒《金融时报》采访时就表示，现在监管AI模型就像在1925年监管喷气式航空飞机一样（当时这种飞机还没有被发明出来），监管AI的要求源于一些领先科技公司的“傲慢”或者“优越感”，因为这些公司认为只有他们才能安全地开发AI。而他本人与OpenAI的观点不和也有许久，在2022年ChatGPT刚刚出世，众人兴奋地讨论以其为首的大型神经网络“可能存在意识”时，杨立昆就公开否定了这种观点，而对于上个月刚刚推出的Sora，杨立昆同样评价为“Sora并不理解物理世界，注定死路一条”。在3月6日OpenAI发声的官推评论区，还有著名AI学者、纽约大学名誉教授马库斯（Gary Marcus）怒斥官方回复里“我们致力于实现OpenAI的使命”的描述，称其完全就是在“胡说八道”。“OpenAI最初的使命是‘不受需要产生经济回报的限制’‘不为私人利益’‘在适用的情况下寻求开源技术’，但现在，OpenAI创造的49%的利润都流向了微软，且微软还拥有技术产品的独家代理权。你们不是在帮助全人类，而是在从艺术家、作家等处窃取资源以增加利润。你们几乎完全放弃了开源技术，简直就是全球最不开放的人工智能公司之一。”本就与马斯克渊源颇深的狗狗币社区自然也是前来站队，一位狗狗币设计师贴出奥特曼和微软CEO的同台照片，讽刺性地贴文“OpenAI是一个完全独立，且与微软直接竞争的团队”，以此回应马斯克诉状中的“微软对OpenAI拥有实际控制权”。有站队，自然也有辩驳。在马斯克最初发声两天之后，太阳微系统创始人，OpenAI投资者科斯拉（Vinod Khosla）就站出来说，马斯克起诉OpenAI有点“吃不到葡萄说葡萄酸”，完全就是作为竞争对手的一种行为。OpenAI回击一天后，科斯拉再次列出了15条希望马斯克做出回应的事实。他强调，根据现在双方公布的信息和邮件往来，在OpenAI团队创立之初，马斯克自己就提出需要集资10亿美元，自己还会承担未能筹集的部分，但实际上，马斯克最终的投资额仅有4500万美元。而马斯克所说的“微软对OpenAI的不当控制”，则正是他自己曾经想做的事。在当时团队一致决定转向盈利后，马斯克就提出让自己拥有多数股权和董事会的完全的控制权，出任CEO，还要将OpenAI并入特斯拉。但当时的OpenAI认为任何个人对团队拥有绝对控制权都是违背使命的，因而拒绝。马斯克便借此扣留了OpenAI的资金，使得期间员工的工资等运营成本不得不由联合创始人Rei... PC版： 手机版：