马斯克开源大型语言模型 Grok-1

马斯克开源大型语言模型Grok-1Grok-1的权重和架构现已在Apache2.0许可证下发布在了github.com/xai-org/grokGrok-1是一个由xAI训练的3140亿参数专家混合模型(8个专家)，给定输入上有25%的活跃权重。该权重为2023年10月预训练结束时的原始权重，这意味着此时没有针对任何特定对话进行微调。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

埃隆·马斯克称 xAI 将于本周开源 Grok

埃隆·马斯克称xAI将于本周开源Grok马斯克帮助共同创建了OpenAI，作为与Google抗衡的力量。但马斯克在上月底提起的诉讼中称，OpenAI被要求向公众"免费提供"其技术，但现在却变成了封闭源代码，并将重点转移到为微软实现利润最大化上。这起诉讼还引发了许多技术专家和投资者对开源人工智能优劣的争论。维诺德-科斯拉（VinodKhosla）的公司是OpenAI的最早支持者之一，他认为这场诉讼"极大地分散了人们对实现AGI目标及其益处的注意力"。安德森-霍洛维茨公司（AndreessenHorowitz）联合创始人马克-安德森（MarcAndreessen）在回应科斯拉的推文时指责他"游说禁止开源"人工智能研究。他补充说："每一项促进人类福祉的重要新技术都会引发道德恐慌，这只是最近的一次。"承诺即将开源Grok意味着xAI将加入包括Meta和法国初创公司Mistral在内的许多成长型公司的行列，向公众公布其聊天机器人的代码。长期以来，马斯克一直是开源的支持者。他领导的另一家公司特斯拉（Tesla）已经开源了许多专利。马斯克在2014年说，"特斯拉不会对任何真诚希望使用我们技术的人提起专利诉讼，"X公司的前身是Twitter，去年也开源了其部分算法。...PC版：https://www.cnbeta.com.tw/articles/soft/1423246.htm手机版：https://m.cnbeta.com.tw/view/1423246.htm

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途

埃隆马斯克按承诺开源xAi的Grok模型参数达314B允许商业性用途此前埃隆马斯克已经承诺将会把xAi公司开发的Grok人工智能开源，目前Grok已经在X/Twitter中上线，如果用户开通XPremium+订阅的话，则可以免费使用Grok。Grok主要目标是提供人工智能对话、编程开发、创意写作等，同时它可以实时连接X获取数据，例如查询某个X用户发布的内容等。此次开源的Grok模型参数高达314B，公开版本为314B参数的混合专家模型Grok-1的基础模型权重和网络架构，该版本来自2023年10月的一个检查点，之后没有经过针对任何特定应用例如对话方面的微调。许可证方面Grok-1采用Apache2.0许可证发布，该许可证允许商业用途，这意味着其他公司可以基于该模型分析、研究、重新发布其他模型。来源，地址：https://github.com/xai-org/grok-1频道：@kejiqu群组：@kejiquchat

马斯克：OpenAI不该闭源 自家首款聊天机器人将开源

马斯克：OpenAI不该闭源自家首款聊天机器人将开源近日，马斯克旗下人工智能初创公司xAI发布了其首款人工智能聊天机器人Grok。据悉，xAI仅用了四个月时间就开发了这款AI机器人。马斯克表示，计划每月将xAI的计算机数量增加一倍。目前，Grok正在8000个英伟达A100图形处理器上进行培训。相比之下，OpenAI利用GPTBuilder，通过一个简单的提示就能开出Grok。本周早些时候，OpenAI发布了新的GPTBuilder，允许用户使用简单的命令就能创建自己的GPT。对于马斯克的Grok而言，可谓是一个讽刺。2015年，马斯克与SamAltman等人共同创立了OpenAI。马斯克在采访中称，他在OpenAI的招募过程中发挥了关键作用。并且，在一开始他提供了几乎所有的资金，大约4000万美元。但2018年，马斯克与Altman出现分歧，马斯克随后离开了OpenAI董事会。他后来表示，OpenAI脱离了他原本的想法，开始以营利为目的并将代码闭源。马斯克称，OpenAI是作为一家开源且非盈利性质公司而创建，目的是为了抗衡谷歌。但如今，它已经成为一家闭源、利润最大化的公司。...PC版：https://www.cnbeta.com.tw/articles/soft/1396099.htm手机版：https://m.cnbeta.com.tw/view/1396099.htm

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI

马斯克用行动反击开源自家顶级大模型压力给到OpenAI有意思的是，Grok-1宣布开源的封面图为Midjourney生成，可谓“AIhelpsAI”。一直吐槽OpenAI不open的马斯克，自然要在社交平台上含沙射影一番，“我们想了解更多OpenAI的开放部分。”Grok-1遵照Apache2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今，已经在GitHub上揽获6.5k星标，热度还在持续增加。项目说明中明确强调，由于Grok-1是一个规模较大（314B参数）的模型，需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628GBGPU内存的机器。此外，该存储库中MoE层的实现效率并不高，之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说，发布开源模型有助于社区展开大规模的测试和反馈，意味着模型本身的迭代速度也能加快。Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程：在宣布成立xAI之后，相关研究人员首先训练了一个330亿参数的原型语言模型（Grok-0），这个模型在标准语言模型测试基准上接近LLaMA2（70B）的能力，但使用了更少的训练资源；之后，研究人员对模型的推理和编码能力进行了重大改进，最终开发出了Grok-1并于2023年11月发布，这是一款功能更为强大的SOTA语言模型，在HumanEval编码任务中达到了63.2%的成绩，在MMLU中达到了73%，超过了其计算类中的所有其他模型，包括ChatGPT-3.5和Inflection-1。与其他大模型相比，Grok-1的优势在哪呢？xAI特别强调，Grok-1是他们自己从头训练的大模型，即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练，没有针对特定任务（如对话）进行微调；Grok-1的一个独特而基本的优势是，它可以通过X平台实时了解世界，这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据；3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%，这一庞大的参数量为其提供了强大的语言理解和生成能力。xAI此前介绍，Grok-1将作为Grok背后的引擎，用于自然语言处理任务，包括问答、信息检索、创意写作和编码辅助。未来，长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。...PC版：https://www.cnbeta.com.tw/articles/soft/1424057.htm手机版：https://m.cnbeta.com.tw/view/1424057.htm

马斯克的 AI 聊天机器人 Grok 出现 “幻觉”，误认为自己是 OpenAI 的产品

马斯克的AI聊天机器人Grok出现“幻觉”，误认为自己是OpenAI的产品近日，埃隆・马斯克旗下AI公司xAI推出了全新的人工智能聊天机器人Grok，并面向美国地区的Premium+X用户开放。然而，就像所有AI聊天机器人一样，Grok也存在“幻觉”问题，即生成包含虚假或误导信息的回应。这种现象在所有大型语言模型（LLM）中都普遍存在，包括ChatGPT。近日，一个Grok尴尬的“幻觉”在社交媒体上引起热议。有用户在使用Grok时收到回应称：“我无法完成您的请求，因为它违反了OpenAI的用例政策。”xAI工程师IgorBabuschkin对此解释道，Grok在训练过程中使用了大量网络数据，很可能在其中包含由OpenAI生成的文本，导致出现了这样的“幻觉”，他称：“不过请放心，这个问题非常罕见，我们已经意识到了它，并将确保未来的Grok版本不会出现类似的问题。请放心，Grok的开发没有使用任何OpenAI代码。”