马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI，因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向，讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0，接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度，根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中：Grok-1 强过 GPT-3.5，弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题")： 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途 此前埃隆马斯克已经承诺将会把 xAi 公司开发的 Grok 人工智能开源，目前 Grok 已经在 X/Twitter 中上线，如果用户开通 X Premium + 订阅的话，则可以免费使用 Grok。Grok 主要目标是提供人工智能对话、编程开发、创意写作等，同时它可以实时连接 X 获取数据，例如查询某个 X 用户发布的内容等。 此次开源的 Grok 模型参数高达 314B，公开版本为 314B 参数的混合专家模型 Grok-1 的基础模型权重和网络架构，该版本来自 2023 年 10 月的一个检查点，之后没有经过针对任何特定应用例如对话方面的微调。 许可证方面 Grok-1 采用 Apache 2.0 许可证发布，该许可证允许商业用途，这意味着其他公司可以基于该模型分析、研究、重新发布其他模型。来源 ， 地址： 频道：@kejiqu 群组：@kejiquchat

马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3

马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3 除此之外，马斯克还表示，他计划在年底推出的一款大型人工智能模型Grok-0将使用10万块英伟达的H100进行训练，并有可能超越现有人工智能水平并激发全球用户对AI技术的兴趣。尽管成立时间不长，但xAI在人工智能领域已经取得了令人瞩目的进展。去年7月13日才宣布成立的该公司，在不到一年的时间里就完成了首个旗舰模型Grok-0的训练，参数量达到330亿。随后，他们又先后推出了Grok-1、Grok-1.5和Grok-1.5V等多款产品。目前发布的这些多款Grok模型虽然间隔时间很短，但功能逐渐增强。其中，3月28日发布的Grok-1.5增加了长文本处理能力；4月12日发布的 G rok -1 .5 V 增加了视觉推理能力 ， 可以根据自然语言和图像交错进行推理 。除了在产品上的卓越成就外，xAI在资本市场上也获得了认可。他们在5月26日在官网上宣布从B轮融资中筹集了60亿美元资金，投资者包括红杉资本、安德森·霍洛维茨基金、富达管理与研究公司以及沙特王国控股公司等。 ... PC版： 手机版：

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。xAI已经将Grok-1的权重和架构在GitHub上开源。目前Grok-1的源权重数据大小大约为300GB。截至北京时间3月18日上午7时许，Grok-1项目收获了3400颗星。Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。xAI是马斯克去年刚刚成立的明星AI创企，其目的之一就是与OpenAI、Google、微软等对手在大模型领域进行竞争，其团队来自OpenAI、GoogleDeepMind、Google研究院、微软研究院等诸多知名企业和研究机构。此前马斯克刚刚“怒喷”OpenAI不够“Open”，后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”，但最终他并没有食言。今天，xAI还公布了Grok-1的更多细节：基础模型基于大量文本数据训练，未针对特定任务进行微调。3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%。xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。但此次xAI并没有放出Grok-1的具体测试成绩，其与OpenAI即将发布的GPT-5的大模型王者之战，必将成为业内关注的焦点。当然，马斯克发大模型，怎么会少的了大佬隔空对线“互怼”？xAI官方消息刚刚发布，ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动，在Grok官方账号评论下回复道：“偷了我的笑话。”马斯克自然不会示弱，马上说请告诉我OpenAI“Open”之处在哪里。马斯克高仿号也马上跑过来添油加醋，说我们都知道是Sam在运营ChatGPT的账号。值得一提的是，此次xAI发布Grok-1消息的封面图片，是由Midjourney生成，Grok给出了提示文本：一个神经网络的3D插图，具有透明节点和发光连接，展示不同粗细和颜色的连接线的不同权重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。原图： ... PC版： 手机版：

X 的 Grok 聊天机器人即将推出1.5升级版

X 的 Grok 聊天机器人即将推出1.5升级版 X.ai表示，Grok-1.5得益于"改进的推理能力"，尤其是在编码和数学相关任务方面。在流行的数学基准测试 MATH 中，该模型的得分比 Grok-1 高出一倍多，在 HumanEval 编程语言生成和问题解决能力测试中，该模型的得分比 Grok-1 高出十多个百分点。当然，我们很难预测这些结果在实际使用中的转化情况，因为常用的人工智能基准衡量的是研究生水平的化学考试题的成绩等深奥的东西，并不能很好地捕捉普通人今天是如何与模型进行交互的。与 Grok-1 相比，Grok-1.5 能接受的上下文数量是一项可观察到的改进。Grok-1.5 的上下文有 128,000 个标记"标记"指的是原始文本的比特（例如，单词"fantastic"分为"fan"、"tas"和"tic"）。上下文或上下文窗口指的是模型在生成输出（更多文本）之前要考虑的输入数据（这里指文本）。上下文窗口较小的模型往往会遗忘甚至是最近的对话内容，而上下文较大的模型则可以避免这一缺陷，而且还能更好地掌握所接收的数据流。X.ai在上述博文中写道："[Grok-1.5]可以利用更长文档中的信息。此外，该模型还能处理更长、更复杂的提示，同时随着上下文窗口的扩大，仍能保持其指令跟踪能力"。 的 Grok 模型与其他生成式人工智能模型的不同之处在于，它们回答的问题涉及其他模型通常无法回答的话题，如阴谋论和更具争议性的政治观点。正如马斯克所描述的那样，这些模型在回答问题时还带有"反叛倾向"，如果被要求这样做，它们会直接使用粗鲁的语言。目前还不清楚 Grok-1.5在博文中也没有提及这一点。X.ai表示，Grok-1.5很快就会在X平台上向早期测试者开放，同时还会推出"几项新功能"。马斯克此前曾暗示，Grok-1.5 将总结主题和回复，并为帖子内容提供建议；我们将拭目以待。Grok-1.5是在X.ai开源Grok-1之后宣布的，尽管没有对其进行微调或进一步训练所需的代码。最近，马斯克表示，更多的 X 用户，特别是那些支付每月 8 美元的 X Premium 计划的用户，将获得 Grok 聊天机器人的使用权，以前只有 X Premium+ 用户（每月支付 16 美元）才能使用该聊天机器人。了解更多： ... PC版： 手机版：

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI 有意思的是，Grok-1宣布开源的封面图为Midjourney生成，可谓“AI helps AI”。一直吐槽OpenAI不open的马斯克，自然要在社交平台上含沙射影一番，“我们想了解更多OpenAI的开放部分。”Grok-1遵照Apache 2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今，已经在GitHub上揽获6.5k星标，热度还在持续增加。项目说明中明确强调，由于Grok-1是一个规模较大（314B参数）的模型，需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628 GB GPU内存的机器。此外，该存储库中MoE层的实现效率并不高，之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说，发布开源模型有助于社区展开大规模的测试和反馈，意味着模型本身的迭代速度也能加快。Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程：在宣布成立xAI之后，相关研究人员首先训练了一个330亿参数的原型语言模型（Grok-0），这个模型在标准语言模型测试基准上接近LLaMA2（70B）的能力，但使用了更少的训练资源；之后，研究人员对模型的推理和编码能力进行了重大改进，最终开发出了Grok-1并于2023年11月发布，这是一款功能更为强大的SOTA语言模型，在HumanEval编码任务中达到了63.2%的成绩，在MMLU中达到了73%，超过了其计算类中的所有其他模型，包括ChatGPT-3.5和Inflection-1。与其他大模型相比，Grok-1的优势在哪呢？xAI特别强调，Grok-1是他们自己从头训练的大模型，即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练，没有针对特定任务（如对话）进行微调；Grok-1的一个独特而基本的优势是，它可以通过X平台实时了解世界，这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据；3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%，这一庞大的参数量为其提供了强大的语言理解和生成能力。xAI此前介绍，Grok-1将作为Grok背后的引擎，用于自然语言处理任务，包括问答、信息检索、创意写作和编码辅助。未来，长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。 ... PC版： 手机版：