马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3

马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3 除此之外，马斯克还表示，他计划在年底推出的一款大型人工智能模型Grok-0将使用10万块英伟达的H100进行训练，并有可能超越现有人工智能水平并激发全球用户对AI技术的兴趣。尽管成立时间不长，但xAI在人工智能领域已经取得了令人瞩目的进展。去年7月13日才宣布成立的该公司，在不到一年的时间里就完成了首个旗舰模型Grok-0的训练，参数量达到330亿。随后，他们又先后推出了Grok-1、Grok-1.5和Grok-1.5V等多款产品。目前发布的这些多款Grok模型虽然间隔时间很短，但功能逐渐增强。其中，3月28日发布的Grok-1.5增加了长文本处理能力；4月12日发布的 G rok -1 .5 V 增加了视觉推理能力 ， 可以根据自然语言和图像交错进行推理 。除了在产品上的卓越成就外，xAI在资本市场上也获得了认可。他们在5月26日在官网上宣布从B轮融资中筹集了60亿美元资金，投资者包括红杉资本、安德森·霍洛维茨基金、富达管理与研究公司以及沙特王国控股公司等。 ... PC版： 手机版：

马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI，因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向，讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0，接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度，根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中：Grok-1 强过 GPT-3.5，弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题")： 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。xAI已经将Grok-1的权重和架构在GitHub上开源。目前Grok-1的源权重数据大小大约为300GB。截至北京时间3月18日上午7时许，Grok-1项目收获了3400颗星。Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。xAI是马斯克去年刚刚成立的明星AI创企，其目的之一就是与OpenAI、Google、微软等对手在大模型领域进行竞争，其团队来自OpenAI、GoogleDeepMind、Google研究院、微软研究院等诸多知名企业和研究机构。此前马斯克刚刚“怒喷”OpenAI不够“Open”，后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”，但最终他并没有食言。今天，xAI还公布了Grok-1的更多细节：基础模型基于大量文本数据训练，未针对特定任务进行微调。3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%。xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。但此次xAI并没有放出Grok-1的具体测试成绩，其与OpenAI即将发布的GPT-5的大模型王者之战，必将成为业内关注的焦点。当然，马斯克发大模型，怎么会少的了大佬隔空对线“互怼”？xAI官方消息刚刚发布，ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动，在Grok官方账号评论下回复道：“偷了我的笑话。”马斯克自然不会示弱，马上说请告诉我OpenAI“Open”之处在哪里。马斯克高仿号也马上跑过来添油加醋，说我们都知道是Sam在运营ChatGPT的账号。值得一提的是，此次xAI发布Grok-1消息的封面图片，是由Midjourney生成，Grok给出了提示文本：一个神经网络的3D插图，具有透明节点和发光连接，展示不同粗细和颜色的连接线的不同权重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。原图： ... PC版： 手机版：

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型 马斯克证实其名下人工智能初创企业 xAI 已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示，xAI 正打造一台拥有 10 万块英伟达 H100 GPU 的超级计算机，预计将在本月晚些时候交付并开始训练。 他指出，“这将成为全球范围内功能最强大的训练集群，并且领先优势巨大”，“我们的核心竞争力在于比任何其他的人工智能公司都更快，这是缩小差距的唯一途径”。

马斯克计划打造xAI “算力超级工厂”

马斯克计划打造xAI “算力超级工厂” 马斯克曾公开表示，他的人工智能初创公司 xAI 将需要多达10万个专用半导体来训练和运行其下一版本的对话式 AI Grok。为了让聊天机器人更智能，他最近告诉投资者，xAI 计划用数万个专用算力芯片组成一个巨大的超级计算机，并称其为“算力超级工厂”。在5月的投资者演讲中表示，马斯克表示他希望在2025年秋季之前让这台超级计算机投入运行，并亲自负责按时交付。他告诉投资者，完成后，连接的芯片组(英伟达的旗舰H100图形处理单元)将至少是当今最大的 GPU 集群的四倍，例如 Meta Platforms 为训练其 AI 模型而构建的集群

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型 PANews 7月11日消息，据IT之家报道，马斯克证实其名下人工智能初创企业xAI已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示，xAI正打造一台拥有10万块英伟达H100 GPU的超级计算机，预计将在本月晚些时候交付并开始训练。他指出，“这将成为全球范围内功能最强大的训练集群，并且领先优势巨大”，“我们的核心竞争力在于比任何其他的人工智能公司都更快，这是缩小差距的唯一途径”。 在此之前，xAI已经从甲骨文租用了2.4万块的H100芯片（的算力），并用它们训练出了Grok 2。他表示Grok 2 目前正处于最终的打磨阶段，只需要进行些许微调和Bug修复就可以发布，预计最快下个月发布。今年5月有报道称，两家公司接近达成扩大合作关系的协议，xAI将斥资约100亿美元向甲骨文租用云服务器、为期数年。