马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI，因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向，讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0，接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度，根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中：Grok-1 强过 GPT-3.5，弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题")： 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途 此前埃隆马斯克已经承诺将会把 xAi 公司开发的 Grok 人工智能开源，目前 Grok 已经在 X/Twitter 中上线，如果用户开通 X Premium + 订阅的话，则可以免费使用 Grok。Grok 主要目标是提供人工智能对话、编程开发、创意写作等，同时它可以实时连接 X 获取数据，例如查询某个 X 用户发布的内容等。 此次开源的 Grok 模型参数高达 314B，公开版本为 314B 参数的混合专家模型 Grok-1 的基础模型权重和网络架构，该版本来自 2023 年 10 月的一个检查点，之后没有经过针对任何特定应用例如对话方面的微调。 许可证方面 Grok-1 采用 Apache 2.0 许可证发布，该许可证允许商业用途，这意味着其他公司可以基于该模型分析、研究、重新发布其他模型。来源 ， 地址： 频道：@kejiqu 群组：@kejiquchat

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。xAI已经将Grok-1的权重和架构在GitHub上开源。目前Grok-1的源权重数据大小大约为300GB。截至北京时间3月18日上午7时许，Grok-1项目收获了3400颗星。Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。xAI是马斯克去年刚刚成立的明星AI创企，其目的之一就是与OpenAI、Google、微软等对手在大模型领域进行竞争，其团队来自OpenAI、GoogleDeepMind、Google研究院、微软研究院等诸多知名企业和研究机构。此前马斯克刚刚“怒喷”OpenAI不够“Open”，后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”，但最终他并没有食言。今天，xAI还公布了Grok-1的更多细节：基础模型基于大量文本数据训练，未针对特定任务进行微调。3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%。xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。但此次xAI并没有放出Grok-1的具体测试成绩，其与OpenAI即将发布的GPT-5的大模型王者之战，必将成为业内关注的焦点。当然，马斯克发大模型，怎么会少的了大佬隔空对线“互怼”？xAI官方消息刚刚发布，ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动，在Grok官方账号评论下回复道：“偷了我的笑话。”马斯克自然不会示弱，马上说请告诉我OpenAI“Open”之处在哪里。马斯克高仿号也马上跑过来添油加醋，说我们都知道是Sam在运营ChatGPT的账号。值得一提的是，此次xAI发布Grok-1消息的封面图片，是由Midjourney生成，Grok给出了提示文本：一个神经网络的3D插图，具有透明节点和发光连接，展示不同粗细和颜色的连接线的不同权重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。原图： ... PC版： 手机版：

马斯克为何要作开源“秀”?

马斯克为何要作开源“秀”? 在开源之前，Grok最大的亮点是直接调用X中的实时数据和“幽默”。但开源版本的Grok已经打了折扣在开发者手里，Grok不可能调取X的数据。从本次开源的信息来看，2023年11月Grok上线以后调用过的X数据，也没有被作为训练数据沉淀到Grok中。除开源打折外，Grok本身的性能也并不占优。刚上线时，Grok的评分就远落后于当时的Palm 2、Claude 2和GPT-4。最典型的问题是，其支持的上下文长度只有8192个token。Grok取得的关注（上线3天在GitHub收获3.9万Star）,似乎很大一部分都来自马斯克本身的流量热度。开源Grok被马斯克说成是为了践行“AI造福全人类”的目标，但在与OpenAI的官司期间开源，有观点认为，Grok 开源的目的之一，就是为马斯克起诉、声讨OpenAI提供的事实依据这是一场由马斯克亲自操盘的“AI 大秀”。开源Grok是作秀？开源是一场让企业与开发者跳双人舞的“社区游戏”，但Grok这个“舞伴”，完全不是普通开发者所能掌控的。在Grok-1之前，很多开源大语言模型（LLM）的参数量只有70亿，LLaMA-2开源的最大参数量也只有700亿。而马斯克直接开源了自家尺寸最大的3140亿参数模型，据估计Grok-1需要约628 GB GPU内存才能勉强运行，普通开发者几乎不可能在本地尝试Grok-1，对于云服务用户来说，至少需要8张80GB显存的A100或H100 GPU。在Grok的GitHub讨论区有用户留言表示：Google云上80GB A100的4卡服务器每小时运行成本是20美元，这不适合我。（GCP instance with 4 A100 80GB; it cost around $20 per hour; this is not for me LOL.）Grok开源之后，笔者也加入了一个关于Grok的开源讨论群，但到了第二天，群内的讨论焦点，已经转向了只有40亿参数的Qwen-1.5。不过，Grok-1也支持8bit量化，一些开发者认为，如果模型可以量化到160GB，“可玩性”会大幅提高。算力不太宽裕的开发者，可以等到官方或者其他开发者发布量化版本后再尝试。至少从短期来看，开源Grok对普通开发者并不是很友好。那么开源对于Grok本身来说，有什么帮助呢？从传统的开源视角来看，也很难说。一些人认为开源模型可以汇聚更多开发者力量，帮助优化模型。但今天的开源AI与传统的开源软件逻辑几乎完全不同。代码开源对于AI大模型的促进作用，并不像过去的开源软件那样明显。传统软件开发过程中，一款系统、工具或软件开源以后，开发者可以基于共享代码直接修复bug，优化程序。然而今天的多数AI模型本身就是一个很大的黑盒，要从中找到问题，并对模型的底层算法进行训练、调优并不容易。“AI大模型训练是一个很‘集中’的工作。”生数科技CEO唐家渝表示，AI大模型很难通过“分布式”的开源来收集开发者的“贡献”。闭源反而是更能集中包括智力的资源、算力的资源，去做不断地迭代的。一些开发者认为，对于开源AI模型的作者来说，最大的好处是打响知名度以Grok目前的模型能力来看，只有吸引一批开发者、公司、机构对模型进行试用、开发，逐步建立起对模型的认可，才能稳固其在AI大模型领域的“江湖地位”，提高这款既不太新，也不太强的AI大模型的影响力。闭源Grok把路走窄了？从AI行业角度来看，Grok的受关注度不高。由于模型跑分不高，过去几个月中发布的AI大模型，在对比评测数据集得分时，几乎很少有人对标Grok。从业务视角来看，Grok在X平台中的表现也不理想。Grok上线到X后，与ChatGPT Plus一样采取订阅制，但ChatGPT的GPT-3.5免费开放，而Grok则一刀切，只提供给X Premium会员。X Premium会员的订阅费用是16美元包月，168美元包年。由于一开始就设置了付费门槛，Grok没有吃到X庞大用户基础的红利。数据网站SimilarWeb的统计显示，2024年2月，x.com的总访问量为1.04亿次，平均访问时长只有24秒。对比其他几家主流闭源AI的同期流量，chat.openai.com访问量为15.5亿次，平均访问时长是7分33秒；gemini.google.com访问量为3.161亿次，平均访问时长6分22秒；相对小众一些的claude.ai访问量为2086万次，平均访问时间为5分48秒。X与三款AI对话网站流量  数据来源|SimilarWeb虽然影响网站流量的因素很多，且x.com网站的受众、属性与其他几家也有明显差异，直接对比流量并不能完全说明问题，但访问时长的巨大差异，也侧面反映了X用户大概率没有跟付费的Grok聊太多。马斯克最早给Grok的战略定位，可能更多是考虑促进X的Premium会员销售，以补贴X的广告收入。然而，如今Grok在X中发挥的作用很可能并没有达到马斯克的预期。与其一直在X Premium中“躺平”，开源Grok或许能给马斯克和x.AI打开新局面。开源激起千层浪在AI大模型热潮中，靠开源大模型树立行业地位的公司并不少见，包括MistralAI以及国内的智谱，阿里的通义千问等。深陷元宇宙泥潭的Meta更是依靠开源LLaMA模型打了一次翻身仗。在2023年中，全球市场最大的变数是AI大模型，而Meta最大的变数就是开源了一款AI大模型。通过开源LLaMA，Meta展现了其在大型语言模型（LLM）领域的技术实力和开放创新的姿态，这在一定程度上帮助公司缓解了市场对其元宇宙战略的担忧。由此Meta的股价也在一年内翻了几番，市值从3155亿美元涨到1.2万亿美元，涨出了19个京东。LLaMA的开源，特别是其成本效益高的特点，对Meta而言具有战略意义。与Google和Microsoft等竞争对手的AI大模型相比，LLaMA的小巧和高性能使得Meta能够以较低成本部署高效的AI模型。这不仅提高了AI技术的普及率，也为Meta未来在各种应用和用例上的广泛部署提供了可能。有分析人士认为，基于Meta的业务范围，从聊天机器人到游戏，再到未来的生产力软件，生成式AI预计将带动一个价值超过500亿美元的市场。虽然LLaMA最初的开源一直被业界传说是无意间的“泄露”，但其最终的结果却为Meta在AI大模型行业奠定了技术和市场的领导地位。“开源”的战略逻辑，对于马斯克来说并不陌生。2014年，马斯克开放了特斯拉的350多项电动车专利技术。当时马斯克在接受采访时表示，“特斯拉的首要目标是加速全世界向可持续能源转变”。事实证明，马斯克大公无私的“开源”，在后来使得他自己成为了最大的受益者。特斯拉开放专利的做法，一举将全球汽车市场的水搅浑。大量新能源车企借助特斯拉的专利异军突起，直接激活了整个新能源汽车市场。而特斯拉作为行业领军企业，则借助长期积累的行业口碑和技术开发实力，持续保持了行业的领先地位。虽然开源Grok大概不会像特斯拉开放专利那一石激起千层浪，改变整个AI行业的格局，但对于目前的x.AI来说，应该也会产生一些积极的影响。 ... PC版： 手机版：

马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3

马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3 除此之外，马斯克还表示，他计划在年底推出的一款大型人工智能模型Grok-0将使用10万块英伟达的H100进行训练，并有可能超越现有人工智能水平并激发全球用户对AI技术的兴趣。尽管成立时间不长，但xAI在人工智能领域已经取得了令人瞩目的进展。去年7月13日才宣布成立的该公司，在不到一年的时间里就完成了首个旗舰模型Grok-0的训练，参数量达到330亿。随后，他们又先后推出了Grok-1、Grok-1.5和Grok-1.5V等多款产品。目前发布的这些多款Grok模型虽然间隔时间很短，但功能逐渐增强。其中，3月28日发布的Grok-1.5增加了长文本处理能力；4月12日发布的 G rok -1 .5 V 增加了视觉推理能力 ， 可以根据自然语言和图像交错进行推理 。除了在产品上的卓越成就外，xAI在资本市场上也获得了认可。他们在5月26日在官网上宣布从B轮融资中筹集了60亿美元资金，投资者包括红杉资本、安德森·霍洛维茨基金、富达管理与研究公司以及沙特王国控股公司等。 ... PC版： 手机版：

Databricks 发布最大开源大语言模型 DBRX

Databricks 发布最大开源大语言模型 DBRX 美国AI初创公司Databricks周三公布，该公司开发的通用大语言模型 DBRX将开源。DBRX在语言理解、编程、数学和逻辑方面轻松击败了Meta的Llama 2-70B、法国MixtralAI公司的Mixtral 和 马斯克旗下xAI开发的Grok-1这类当前流行的开源模型。DBRX 在 30多种不同的最先进模型(SOTA) 基准指标测试中，均优于前述三种大模型。 DBRX 使用混合专家架构(MoE) ，拥有16个专家模型，共1320亿参数。该模型使用 3072 英伟达 H100 GPU在12万亿个token的数据集上进行训练，最大支持32k 的上下文窗口。同时，Databrick 也开源了该模型经过指令微调（instruct finetune）的版本。 ,