马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI，因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向，讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0，接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度，根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中：Grok-1 强过 GPT-3.5，弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题")： 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途 此前埃隆马斯克已经承诺将会把 xAi 公司开发的 Grok 人工智能开源，目前 Grok 已经在 X/Twitter 中上线，如果用户开通 X Premium + 订阅的话，则可以免费使用 Grok。Grok 主要目标是提供人工智能对话、编程开发、创意写作等，同时它可以实时连接 X 获取数据，例如查询某个 X 用户发布的内容等。 此次开源的 Grok 模型参数高达 314B，公开版本为 314B 参数的混合专家模型 Grok-1 的基础模型权重和网络架构，该版本来自 2023 年 10 月的一个检查点，之后没有经过针对任何特定应用例如对话方面的微调。 许可证方面 Grok-1 采用 Apache 2.0 许可证发布，该许可证允许商业用途，这意味着其他公司可以基于该模型分析、研究、重新发布其他模型。来源 ， 地址： 频道：@kejiqu 群组：@kejiquchat

马斯克旗下人工智能初创公司推出首个AI模型Grok

马斯克旗下人工智能初创公司推出首个AI模型Grok 美国企业家马斯克旗下人工智能（AI）初创公司xAI推出了首款AI模型Grok，Grok能实时连接社交媒体平台X（前称推特）。 新华社报道，马斯克星期天（11月5日）在X平台发布和转发多条动态，宣介这一AI模型。据xAI团队介绍，目前Grok仍处于早期测试阶段，现在每周都在迭代进步。 Grok可以回答几乎任何问题，甚至能启发用户提出问题。此外，这个AI模型“有智慧，还有一点小叛逆”，所以它的使用者最好不是讨厌幽默的人。 据介绍，Grok能通过X平台了解实时世界，也可以回答一些其他AI系统拒绝回答的棘手问题。马斯克说，相比其他生成式AI，与X平台实时连接，获得对这个世界的实时认知，是Grok拥有的巨大优势。不过，也有媒体对此提出质疑，认为社媒平台上可能存在大量虚假或未经认证的实时信息。 Grok一词源自科幻小说《异乡异客》，在书中意为深刻而直观地理解事物。 xAI公司成立于今年7月，由马斯克领导，并与X平台、特斯拉等马斯克旗下的企业密切协作。 2023年11月6日 1:44 PM

马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3

马斯克宣布xAI将在8月份推出Grok-2大模型 预计年底推出Grok-3 除此之外，马斯克还表示，他计划在年底推出的一款大型人工智能模型Grok-0将使用10万块英伟达的H100进行训练，并有可能超越现有人工智能水平并激发全球用户对AI技术的兴趣。尽管成立时间不长，但xAI在人工智能领域已经取得了令人瞩目的进展。去年7月13日才宣布成立的该公司，在不到一年的时间里就完成了首个旗舰模型Grok-0的训练，参数量达到330亿。随后，他们又先后推出了Grok-1、Grok-1.5和Grok-1.5V等多款产品。目前发布的这些多款Grok模型虽然间隔时间很短，但功能逐渐增强。其中，3月28日发布的Grok-1.5增加了长文本处理能力；4月12日发布的 G rok -1 .5 V 增加了视觉推理能力 ， 可以根据自然语言和图像交错进行推理 。除了在产品上的卓越成就外，xAI在资本市场上也获得了认可。他们在5月26日在官网上宣布从B轮融资中筹集了60亿美元资金，投资者包括红杉资本、安德森·霍洛维茨基金、富达管理与研究公司以及沙特王国控股公司等。 ... PC版： 手机版：

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。xAI已经将Grok-1的权重和架构在GitHub上开源。目前Grok-1的源权重数据大小大约为300GB。截至北京时间3月18日上午7时许，Grok-1项目收获了3400颗星。Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。xAI是马斯克去年刚刚成立的明星AI创企，其目的之一就是与OpenAI、Google、微软等对手在大模型领域进行竞争，其团队来自OpenAI、GoogleDeepMind、Google研究院、微软研究院等诸多知名企业和研究机构。此前马斯克刚刚“怒喷”OpenAI不够“Open”，后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”，但最终他并没有食言。今天，xAI还公布了Grok-1的更多细节：基础模型基于大量文本数据训练，未针对特定任务进行微调。3140亿参数的Mixture-of-Experts模型，其对于每个token，活跃权重比例为25%。xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。但此次xAI并没有放出Grok-1的具体测试成绩，其与OpenAI即将发布的GPT-5的大模型王者之战，必将成为业内关注的焦点。当然，马斯克发大模型，怎么会少的了大佬隔空对线“互怼”？xAI官方消息刚刚发布，ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动，在Grok官方账号评论下回复道：“偷了我的笑话。”马斯克自然不会示弱，马上说请告诉我OpenAI“Open”之处在哪里。马斯克高仿号也马上跑过来添油加醋，说我们都知道是Sam在运营ChatGPT的账号。值得一提的是，此次xAI发布Grok-1消息的封面图片，是由Midjourney生成，Grok给出了提示文本：一个神经网络的3D插图，具有透明节点和发光连接，展示不同粗细和颜色的连接线的不同权重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。原图： ... PC版： 手机版：

X 的 Grok 聊天机器人即将推出1.5升级版

X 的 Grok 聊天机器人即将推出1.5升级版 X.ai表示，Grok-1.5得益于"改进的推理能力"，尤其是在编码和数学相关任务方面。在流行的数学基准测试 MATH 中，该模型的得分比 Grok-1 高出一倍多，在 HumanEval 编程语言生成和问题解决能力测试中，该模型的得分比 Grok-1 高出十多个百分点。当然，我们很难预测这些结果在实际使用中的转化情况，因为常用的人工智能基准衡量的是研究生水平的化学考试题的成绩等深奥的东西，并不能很好地捕捉普通人今天是如何与模型进行交互的。与 Grok-1 相比，Grok-1.5 能接受的上下文数量是一项可观察到的改进。Grok-1.5 的上下文有 128,000 个标记"标记"指的是原始文本的比特（例如，单词"fantastic"分为"fan"、"tas"和"tic"）。上下文或上下文窗口指的是模型在生成输出（更多文本）之前要考虑的输入数据（这里指文本）。上下文窗口较小的模型往往会遗忘甚至是最近的对话内容，而上下文较大的模型则可以避免这一缺陷，而且还能更好地掌握所接收的数据流。X.ai在上述博文中写道："[Grok-1.5]可以利用更长文档中的信息。此外，该模型还能处理更长、更复杂的提示，同时随着上下文窗口的扩大，仍能保持其指令跟踪能力"。 的 Grok 模型与其他生成式人工智能模型的不同之处在于，它们回答的问题涉及其他模型通常无法回答的话题，如阴谋论和更具争议性的政治观点。正如马斯克所描述的那样，这些模型在回答问题时还带有"反叛倾向"，如果被要求这样做，它们会直接使用粗鲁的语言。目前还不清楚 Grok-1.5在博文中也没有提及这一点。X.ai表示，Grok-1.5很快就会在X平台上向早期测试者开放，同时还会推出"几项新功能"。马斯克此前曾暗示，Grok-1.5 将总结主题和回复，并为帖子内容提供建议；我们将拭目以待。Grok-1.5是在X.ai开源Grok-1之后宣布的，尽管没有对其进行微调或进一步训练所需的代码。最近，马斯克表示，更多的 X 用户，特别是那些支付每月 8 美元的 X Premium 计划的用户，将获得 Grok 聊天机器人的使用权，以前只有 X Premium+ 用户（每月支付 16 美元）才能使用该聊天机器人。了解更多： ... PC版： 手机版：