人工智能公司 xAI 开源 Grok-1 模型

人工智能公司xAI开源Grok-1模型3月11日，埃隆·马斯克表示xAI将开源其AI聊天机器人Grok，目前已在GitHub上提供开放源代码版本，这将使研究人员和开发人员能够在该模型的基础上进行构建。该公司的一篇博客文章解释说，这个开放版本包括“3140亿参数专家混合模型Grok-1”的“基本模型权重和网络架构”。博文还称，该模型来自去年10月的检查点，并且没有“针对任何特定应用(例如对话)”进行微调。该模型以Apache2.0许可证发布，允许商业用途。——、、

马斯克 xAI 公布大型语言模型 Grok

马斯克xAI公布大型语言模型GrokGrok是一款模仿《银河系漫游指南》的AI，因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向，讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。xAI先是训练了330亿参数的原型模型Grok-0，接着在过去两个月训练出了Grok-1。初始版本上下文支持8192个token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度，根本优势是可以通过X/Twitter实时了解世界信息流。推理和编码基准测试中：Grok-1强过GPT-3.5，弱于PaLM2(Bard)、Claude2、GPT-4。《2023年5月匈牙利全国高中数学考试》测试中(防止AI"背题")：1.GPT-4(68%)2.Grok-1(59%)3.Claude-2(55%)4.GPT-3.5(41%)5.Grok-0(37%)投稿：@ZaiHuaBot频道：@TestFlightCN

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途

埃隆马斯克按承诺开源xAi的Grok模型参数达314B允许商业性用途此前埃隆马斯克已经承诺将会把xAi公司开发的Grok人工智能开源，目前Grok已经在X/Twitter中上线，如果用户开通XPremium+订阅的话，则可以免费使用Grok。Grok主要目标是提供人工智能对话、编程开发、创意写作等，同时它可以实时连接X获取数据，例如查询某个X用户发布的内容等。此次开源的Grok模型参数高达314B，公开版本为314B参数的混合专家模型Grok-1的基础模型权重和网络架构，该版本来自2023年10月的一个检查点，之后没有经过针对任何特定应用例如对话方面的微调。许可证方面Grok-1采用Apache2.0许可证发布，该许可证允许商业用途，这意味着其他公司可以基于该模型分析、研究、重新发布其他模型。来源，地址：https://github.com/xai-org/grok-1频道：@kejiqu群组：@kejiquchat

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI

马斯克用行动反击开源自家顶级大模型压力给到OpenAI有意思的是，Grok-1宣布开源的封面图为Midjourney生成，可谓“AIhelpsAI”。一直吐槽OpenAI不open的马斯克，自然要在社交平台上含沙射影一番，“我们想了解更多OpenAI的开放部分。”Grok-1遵照Apache2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今，已经在GitHub上揽获6.5k星标，热度还在持续增加。项目说明中明确强调，由于Grok-1是一个规模较大（314B参数）的模型，需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628GBGPU内存的机器。此外，该存储库中MoE层的实现效率并不高，之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说，发布开源模型有助于社区展开大规模的测试和反馈，意味着模型本身的迭代速度也能加快。Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程：在宣布成立xAI之后，相关研究人员首先训练了一个330亿参数的原型语言模型（Grok-0），这个模型在标准语言模型测试基准上接近LLaMA2（70B）的能力，但使用了更少的训练资源；之后，研究人员对模型的推理和编码能力进行了重大改进，最终开发出了Grok-1并于2023年11月发布，这是一款功能更为强大的SOTA语言模型，在HumanEval编码任务中达到了63.2%的成绩，在MMLU中达到了73%，超过了其计算类中的所有其他模型，包括ChatGPT-3.5和Inflection-1。与其他大模型相比，Grok-1的优势在哪呢？xAI特别强调，Grok-1是他们自己从头训练的大模型，即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练，没有针对特定任务（如对话）进行微调；Grok-1的一个独特而基本的优势是，它可以通过X平台实时了解世界，这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据；3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%，这一庞大的参数量为其提供了强大的语言理解和生成能力。xAI此前介绍，Grok-1将作为Grok背后的引擎，用于自然语言处理任务，包括问答、信息检索、创意写作和编码辅助。未来，长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。...PC版：https://www.cnbeta.com.tw/articles/soft/1424057.htm手机版：https://m.cnbeta.com.tw/view/1424057.htm

OpenAI 抢先马斯克开源 Grok

OpenAI抢先马斯克开源Grok为了跟OpenAI叫板，马斯克承诺这周开源Grok，打那时起全网都在数着日子等模型。眼看临近最后一天，巨魔网友们突然发现，Grok的代码居然被OpenAI的GitHub账户开源了，定睛一看还遥遥领先马斯克三年！倒也没错，该Grok仓库已存在多年，源自2022年的OpenAI论文《Grokking:在小型算法数据集上超越过拟合的泛化》，虽然和xAI的大型语言模型Grok不是一个Grok，但确实是早于马斯克开源了一个Grok。github.com/openai/grok线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

马斯克的大模型​xAI Grok来了 AI领域更热闹了

马斯克的大模型​xAIGrok来了AI领域更热闹了明天，@xAI将向一些特定群体发布其首个人工智能产品。从某些重要方面来看，它是目前最好的。一旦xAI的Grok系统摆脱了早期测试阶段，将向所有XPremium+ 订阅用户开放。马斯克之后的跟帖显示，Grok是一个可以会话式回答问题的模型，可能基于类似于训练ChatGPT和其他文本生成模型的模型。Grok系统被设计为在其回答中具有一点幽默感。Grok可以通过X平台实时访问信息，这与其他模型相比是一个巨大的优势。它也是基于&喜欢讽刺的。我不知道谁能以这种方式引导它关于Grok的细节还不明确，但马斯克在今年四月接受媒体采访时就曾表示，将开发自己的人工智能，以挑战市场上已经大规模存在的大模型。我会从一种我称之为TruthGPT的东西入手，它是一个最大程度上探寻真相、试图理解宇宙本质的人工智能。我认为，这可能是实现安全的最佳途径，因为一个关心了解宇宙的AI不可能毁灭人类，因为我们是宇宙中有趣的一部分。之后就有媒体发现，马斯克创立了一家名为“xAI”的AI初创公司，其员工来自于OpenAI、DeepMind、Google研究、微软研究、特斯拉以及多伦多大学。马斯克曾多次对OpenAI的GPT提出异议，称其基本模型具有极强的偏见和“觉醒”，他曾表示，xAI的总体目标是构建一个良好的人工通用智能，其首要目标是理解宇宙：构建人工智能的最安全方式是制造一个极端好奇和寻求真相的人工智能。今年九月，甲骨文的联合创始人拉里·埃里森透露，xAI已经签署了一份合同，将在甲骨文的云平台上训练其人工智能模型。...PC版：https://www.cnbeta.com.tw/articles/soft/1394523.htm手机版：https://m.cnbeta.com.tw/view/1394523.htm