马斯克 xAI 公布大型语言模型 Grok

马斯克xAI公布大型语言模型GrokGrok是一款模仿《银河系漫游指南》的AI，因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向，讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。xAI先是训练了330亿参数的原型模型Grok-0，接着在过去两个月训练出了Grok-1。初始版本上下文支持8192个token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度，根本优势是可以通过X/Twitter实时了解世界信息流。推理和编码基准测试中：Grok-1强过GPT-3.5，弱于PaLM2(Bard)、Claude2、GPT-4。《2023年5月匈牙利全国高中数学考试》测试中(防止AI"背题")：1.GPT-4(68%)2.Grok-1(59%)3.Claude-2(55%)4.GPT-3.5(41%)5.Grok-0(37%)投稿：@ZaiHuaBot频道：@TestFlightCN

马斯克开源大型语言模型 Grok-1

马斯克开源大型语言模型Grok-1Grok-1的权重和架构现已在Apache2.0许可证下发布在了github.com/xai-org/grokGrok-1是一个由xAI训练的3140亿参数专家混合模型(8个专家)，给定输入上有25%的活跃权重。该权重为2023年10月预训练结束时的原始权重，这意味着此时没有针对任何特定对话进行微调。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN