马斯克为何要作开源“秀”?

马斯克为何要作开源“秀”? 在开源之前,Grok最大的亮点是直接调用X中的实时数据和“幽默”。但开源版本的Grok已经打了折扣在开发者手里,Grok不可能调取X的数据。从本次开源的信息来看,2023年11月Grok上线以后调用过的X数据,也没有被作为训练数据沉淀到Grok中。除开源打折外,Grok本身的性能也并不占优。刚上线时,Grok的评分就远落后于当时的Palm 2、Claude 2和GPT-4。最典型的问题是,其支持的上下文长度只有8192个token。Grok取得的关注(上线3天在GitHub收获3.9万Star),似乎很大一部分都来自马斯克本身的流量热度。开源Grok被马斯克说成是为了践行“AI造福全人类”的目标,但在与OpenAI的官司期间开源,有观点认为,Grok 开源的目的之一,就是为马斯克起诉、声讨OpenAI提供的事实依据这是一场由马斯克亲自操盘的“AI 大秀”。开源Grok是作秀?开源是一场让企业与开发者跳双人舞的“社区游戏”,但Grok这个“舞伴”,完全不是普通开发者所能掌控的。在Grok-1之前,很多开源大语言模型(LLM)的参数量只有70亿,LLaMA-2开源的最大参数量也只有700亿。而马斯克直接开源了自家尺寸最大的3140亿参数模型,据估计Grok-1需要约628 GB GPU内存才能勉强运行,普通开发者几乎不可能在本地尝试Grok-1,对于云服务用户来说,至少需要8张80GB显存的A100或H100 GPU。在Grok的GitHub讨论区有用户留言表示:Google云上80GB A100的4卡服务器每小时运行成本是20美元,这不适合我。(GCP instance with 4 A100 80GB; it cost around $20 per hour; this is not for me LOL.)Grok开源之后,笔者也加入了一个关于Grok的开源讨论群,但到了第二天,群内的讨论焦点,已经转向了只有40亿参数的Qwen-1.5。不过,Grok-1也支持8bit量化,一些开发者认为,如果模型可以量化到160GB,“可玩性”会大幅提高。算力不太宽裕的开发者,可以等到官方或者其他开发者发布量化版本后再尝试。至少从短期来看,开源Grok对普通开发者并不是很友好。那么开源对于Grok本身来说,有什么帮助呢?从传统的开源视角来看,也很难说。一些人认为开源模型可以汇聚更多开发者力量,帮助优化模型。但今天的开源AI与传统的开源软件逻辑几乎完全不同。代码开源对于AI大模型的促进作用,并不像过去的开源软件那样明显。传统软件开发过程中,一款系统、工具或软件开源以后,开发者可以基于共享代码直接修复bug,优化程序。然而今天的多数AI模型本身就是一个很大的黑盒,要从中找到问题,并对模型的底层算法进行训练、调优并不容易。“AI大模型训练是一个很‘集中’的工作。”生数科技CEO唐家渝表示,AI大模型很难通过“分布式”的开源来收集开发者的“贡献”。闭源反而是更能集中包括智力的资源、算力的资源,去做不断地迭代的。一些开发者认为,对于开源AI模型的作者来说,最大的好处是打响知名度以Grok目前的模型能力来看,只有吸引一批开发者、公司、机构对模型进行试用、开发,逐步建立起对模型的认可,才能稳固其在AI大模型领域的“江湖地位”,提高这款既不太新,也不太强的AI大模型的影响力。闭源Grok把路走窄了?从AI行业角度来看,Grok的受关注度不高。由于模型跑分不高,过去几个月中发布的AI大模型,在对比评测数据集得分时,几乎很少有人对标Grok。从业务视角来看,Grok在X平台中的表现也不理想。Grok上线到X后,与ChatGPT Plus一样采取订阅制,但ChatGPT的GPT-3.5免费开放,而Grok则一刀切,只提供给X Premium会员。X Premium会员的订阅费用是16美元包月,168美元包年。由于一开始就设置了付费门槛,Grok没有吃到X庞大用户基础的红利。数据网站SimilarWeb的统计显示,2024年2月,x.com的总访问量为1.04亿次,平均访问时长只有24秒。对比其他几家主流闭源AI的同期流量,chat.openai.com访问量为15.5亿次,平均访问时长是7分33秒;gemini.google.com访问量为3.161亿次,平均访问时长6分22秒;相对小众一些的claude.ai访问量为2086万次,平均访问时间为5分48秒。X与三款AI对话网站流量  数据来源|SimilarWeb虽然影响网站流量的因素很多,且x.com网站的受众、属性与其他几家也有明显差异,直接对比流量并不能完全说明问题,但访问时长的巨大差异,也侧面反映了X用户大概率没有跟付费的Grok聊太多。马斯克最早给Grok的战略定位,可能更多是考虑促进X的Premium会员销售,以补贴X的广告收入。然而,如今Grok在X中发挥的作用很可能并没有达到马斯克的预期。与其一直在X Premium中“躺平”,开源Grok或许能给马斯克和x.AI打开新局面。开源激起千层浪在AI大模型热潮中,靠开源大模型树立行业地位的公司并不少见,包括MistralAI以及国内的智谱,阿里的通义千问等。深陷元宇宙泥潭的Meta更是依靠开源LLaMA模型打了一次翻身仗。在2023年中,全球市场最大的变数是AI大模型,而Meta最大的变数就是开源了一款AI大模型。通过开源LLaMA,Meta展现了其在大型语言模型(LLM)领域的技术实力和开放创新的姿态,这在一定程度上帮助公司缓解了市场对其元宇宙战略的担忧。由此Meta的股价也在一年内翻了几番,市值从3155亿美元涨到1.2万亿美元,涨出了19个京东。LLaMA的开源,特别是其成本效益高的特点,对Meta而言具有战略意义。与Google和Microsoft等竞争对手的AI大模型相比,LLaMA的小巧和高性能使得Meta能够以较低成本部署高效的AI模型。这不仅提高了AI技术的普及率,也为Meta未来在各种应用和用例上的广泛部署提供了可能。有分析人士认为,基于Meta的业务范围,从聊天机器人到游戏,再到未来的生产力软件,生成式AI预计将带动一个价值超过500亿美元的市场。虽然LLaMA最初的开源一直被业界传说是无意间的“泄露”,但其最终的结果却为Meta在AI大模型行业奠定了技术和市场的领导地位。“开源”的战略逻辑,对于马斯克来说并不陌生。2014年,马斯克开放了特斯拉的350多项电动车专利技术。当时马斯克在接受采访时表示,“特斯拉的首要目标是加速全世界向可持续能源转变”。事实证明,马斯克大公无私的“开源”,在后来使得他自己成为了最大的受益者。特斯拉开放专利的做法,一举将全球汽车市场的水搅浑。大量新能源车企借助特斯拉的专利异军突起,直接激活了整个新能源汽车市场。而特斯拉作为行业领军企业,则借助长期积累的行业口碑和技术开发实力,持续保持了行业的领先地位。虽然开源Grok大概不会像特斯拉开放专利那一石激起千层浪,改变整个AI行业的格局,但对于目前的x.AI来说,应该也会产生一些积极的影响。 ... PC版: 手机版:

相关推荐

封面图片

自上次开源特斯拉,又放大招,马斯克正式开源Grok AI

自上次开源特斯拉,又放大招,马斯克正式开源Grok AI 现在,任何其他企业家、程序员、公司或个人都可以体验和测试Grok模型的人工神经元或软件模块之间的连接强度,这些模块使模型能够做出决策、接受输入并以文本形式提供输出以及其他相关文档,并将模型的副本用于任何他们想要的东西,包括商业应用。

封面图片

自上次开源特斯拉,又放大招,马斯克正式开源Grok AI

自上次开源特斯拉,又放大招,马斯克正式开源Grok AI 现在,任何其他企业家、程序员、公司或个人都可以体验和测试Grok模型的人工神经元或软件模块之间的连接强度,这些模块使模型能够做出决策、接受输入并以文本形式提供输出以及其他相关文档,并将模型的副本用于任何他们想要的东西,包括商业应用。

封面图片

马斯克 AI 公司将开源 Grok 聊天机器人

马斯克 AI 公司将开源 Grok 聊天机器人 Grok 聊天机器人是马斯克去年公布,号称比现有聊天机器人(chatbot)更有幽默感。规划中,Grok 会以付费服务提供给 X Premium Plus 订阅户,以内建在 X App 及独立 App 二种形式出现。

封面图片

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途

埃隆马斯克按承诺开源xAi的Grok模型 参数达314B允许商业性用途 此前埃隆马斯克已经承诺将会把 xAi 公司开发的 Grok 人工智能开源,目前 Grok 已经在 X/Twitter 中上线,如果用户开通 X Premium + 订阅的话,则可以免费使用 Grok。Grok 主要目标是提供人工智能对话、编程开发、创意写作等,同时它可以实时连接 X 获取数据,例如查询某个 X 用户发布的内容等。 此次开源的 Grok 模型参数高达 314B,公开版本为 314B 参数的混合专家模型 Grok-1 的基础模型权重和网络架构,该版本来自 2023 年 10 月的一个检查点,之后没有经过针对任何特定应用例如对话方面的微调。 许可证方面 Grok-1 采用 Apache 2.0 许可证发布,该许可证允许商业用途,这意味着其他公司可以基于该模型分析、研究、重新发布其他模型。来源 , 地址: 频道:@kejiqu 群组:@kejiquchat

封面图片

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI 有意思的是,Grok-1宣布开源的封面图为Midjourney生成,可谓“AI helps AI”。一直吐槽OpenAI不open的马斯克,自然要在社交平台上含沙射影一番,“我们想了解更多OpenAI的开放部分。”Grok-1遵照Apache 2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今,已经在GitHub上揽获6.5k星标,热度还在持续增加。项目说明中明确强调,由于Grok-1是一个规模较大(314B参数)的模型,需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628 GB GPU内存的机器。此外,该存储库中MoE层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说,发布开源模型有助于社区展开大规模的测试和反馈,意味着模型本身的迭代速度也能加快。Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程:在宣布成立xAI之后,相关研究人员首先训练了一个330亿参数的原型语言模型(Grok-0),这个模型在标准语言模型测试基准上接近LLaMA2(70B)的能力,但使用了更少的训练资源;之后,研究人员对模型的推理和编码能力进行了重大改进,最终开发出了Grok-1并于2023年11月发布,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%的成绩,在MMLU中达到了73%,超过了其计算类中的所有其他模型,包括ChatGPT-3.5和Inflection-1。与其他大模型相比,Grok-1的优势在哪呢?xAI特别强调,Grok-1是他们自己从头训练的大模型,即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练,没有针对特定任务(如对话)进行微调;Grok-1的一个独特而基本的优势是,它可以通过X平台实时了解世界,这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据;3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%,这一庞大的参数量为其提供了强大的语言理解和生成能力。xAI此前介绍,Grok-1将作为Grok背后的引擎,用于自然语言处理任务,包括问答、信息检索、创意写作和编码辅助。未来,长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。 ... PC版: 手机版:

封面图片

马斯克、OpenAI决裂背后,大模型应该开源还是闭源?

马斯克、OpenAI决裂背后,大模型应该开源还是闭源? 此次纠纷的焦点之一是马斯克对OpenAI的开源要求。而这背后所折射出的也是AI浪潮下科学界的长期争论话题到底应该开源还是闭源?纽约大学坦登工程学院计算机科学与工程系副教授Julian Togelius在接受《每日经济新闻》记者采访时表示,开源是大势所趋。“开源对于防止权力集中很重要。到目前为止,每个大型模型都在某种程度上是‘可越狱的’。”马萨诸塞大学洛厄尔分校计算机科学教授Jie Wang则对每经记者表示,“未来各主要参与者都会将其大模型的某些部分开源,但绝对不是最重要的部分,例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日,马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼,震惊全球科技圈。在马斯克的起诉书中,他斥责OpenAI违背“初心”,要求OpenAI恢复开源并给予赔偿。3月5日,OpenAI曝光了马斯克与他们的大量往来邮件,称马斯克提议 OpenAI 与特斯拉合并或由他完全控制,但双方未能就盈利性实体的条款达成一致。3月6日,马斯克在Twitter上回复,“如何OpenAI改名为ClosedAI,我就撤销诉讼。”图片来源:每经制图9年前,正是在AI上志同道合,马斯克和阿尔特曼等人携手创办了非营利性AI研究实验室“OpenAI”来对抗以Google为代表的科技巨头。而如今,马斯克与阿尔特曼及其所在的OpenAI彻底决裂,双方旧日坚持的“初心”成为矛盾焦点。在OpenAI的官网主页上写着,“我们的使命是确保通用人工智能(AGI)造福全人类。”最初,OpenAI的确作为一个非营利组织坚持着这样的路线。而自GPT-2后,OpenAI采取了闭源策略,公司出售大模型API访问权限,但不再发布有关其训练数据和模型架构的详细信息。2019年,阿尔特曼还组建了一个由OpenAI非营利组织管理的营利性实体,以便从微软等外部投资者那里筹集资金。对此,OpenAI在5日发文时曾解释,这是因为“开发 AGI 所需的资源远超过最初预期”。随着OpenAI核心技术不再开源,且与微软的关系越来越密切时,马斯克的不满可想而知。马斯克在起诉书中批评称:“OpenAI已经变成了全球最大技术公司微软事实上的闭源子公司。在其新董事会的领导下,OpenAI不仅在开发,而且实际上正在完善一种AGI,以最大化微软的利润,而不是造福人类。”背后是开源闭源路线之争在双方的争端中,一个值得关注的点是,马斯克要求OpenAI恢复开源。这折射出的也是AI浪潮下的一个争议性话题到底应该开源还是闭源?在开源闭源之争上,马斯克坚定地选择了前者。《每日经济新闻》记者注意到,马斯克旗下特斯拉的核心技术就已经在全球范围内开源。根据新加坡咨询公司GreyB的统计,截至2023年末,全球范围内特斯拉共拥有专利3304项(不包含审批中专利),其中有2397项仍然有效。据媒体统计,刨除重复的情况,特斯拉共有222项开放专利。从技术类别上看,特斯拉开放的专利属于比较核心的专利。图片来源:GreyB网站马斯克旗下另一家公司SpaceX也曾公开猛禽发动机图纸。在去年12月接受外媒采访时,马斯克曾透露,“SpaceX不使用(独占)专利,完全开放。”而将视角放大到整个科技界,开源还是闭源也是一直争论不休的话题。2023年10月31日,“开源派”曾签署了一份呼吁AI研发更加开放的联名信,截至发稿,1821名专家都签下了名字。图片来源:mozilla官网“开源对于防止权力集中很重要,我们不希望未来只有少数财力雄厚的科技公司才能控制前沿模型。” 纽约大学坦登工程学院计算机科学与工程系副教授Julian Togelius在接受《每日经济新闻》记者采访时表示。“到目前为止,每个大型模型都在某种程度上是‘可越狱的’。(开源让)我们了解其弱点,才能知道如何更好地部署模型。”(注:“越狱”指的是通过提示注入技术修改模型的行为。)马萨诸塞大学洛厄尔分校计算机科学教授Jie Wang也对每经记者称,“开源代码可以提高透明度并有助于推进技术,世界各地的相关方可以帮助识别开发团队未能发现的代码中的潜在陷阱,并提供更正。这有助于降低代码可能执行有害操作的风险。”不过,他也指出,开源并不是解决所有安全问题的灵丹妙药。而反对开源的一派认为,开源AI会被不良行为者操纵。去年10月20日,来自麻省理工学院和剑桥大学的科学家们发表了一篇论文,他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害,结果发现,开源大模型的确可能存在风险。Jie Wang对记者表示,“不同的态度取决于不同的身份。学术研究人员希望AI技术是开源的,以便可以评估和修改代码。另一方面,企业家可能为了保护投资和业务,而不愿意开放源代码。”科技巨头与AI新贵在开源或闭源的问题上也采取了不同的路线。前者最近在互联网上免费提供了其生成式AI的代码,例如,目前开源大模型被Meta的Llama主导,许多开源模型都是基于Llama而开发;后者如OpenAI和Anthropic则出售专有AI模型的API访问权限,但不共享代码。OpenAI和Anthropic高管认为,政府应该监管最强大的AI模型,这样坏人就不能轻易利用它们。今年1月,Anthropic 公司研究人员还发表论文警告称,AI中毒可能导致开源大模型变成潜伏的间谍。图片来源:arxiv.org但在去年9月的美国参议院人工智能洞察论坛上,Meta首席执行官马克·扎克伯格等人却认为,开源模式对美国保持竞争力至关重要,科技行业可以解决对开源模式安全的担忧。若实现AGI,是否需要开源?“开源是大势所趋,我认为Meta正在引领这一趋势,其次是Mistral AI、HuggingFace等规模较小的公司。” Julian Togelius告诉《每日经济新闻》记者。尽管Mistral AI最初推出了开源模型,随着规模的扩大,其作风似乎越来越像OpenAI靠近,采取了闭源路线。对此,Togelius表示,“他们需要以某种方式赚钱,但目前还不清楚如何在这个领域最好地赚钱,但Mistral AI比 OpenAI 几乎不开源的情况要好得多。”而大型科技巨头Google近日的动作似乎也是对Togelius言论的验证。今年2月,Google罕见地改变了去年坚持的大模型闭源策略,推出了“开源”大模型Gemma。有报道认为,Gemma代表Google大模型策略的转变兼顾开源和闭源,开源主打性能最强大的小规模模型,希望战胜Meta和Mistral AI;闭源则主打规模大的效果最好的大模型,希望尽快追上OpenAI。去年5月,一份Google的内部文件曾在网上激起千层浪。文件认为,开源大模型迅猛发展,正在侵蚀OpenAI和Google的阵地。除非改变闭源的立场,否则开源替代品将最终使这两家公司黯然失色。“虽然我们的模型在质量方面仍略占优势,但(闭源和开源模型)的差距正在以惊人的速度缩小。”文件写道。“这(指的是Google的新举措)对研究和开发人员来说的确是个好消息。”Jie Wang对每经记者说道。“不过我怀疑Google是否会将一切开源。我认为未来各个主要参与者都会将其大模型的某些部分开源,以便研究人员和开发人员了解模型的架构和训练过程,但从业务角度来看绝对不是最重要的部分,例如用于训练其 LLM 和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”而在对OpenAI的起诉书中,马斯克还提到了对AGI(通用人工智能)的担忧。当被问及若达到AGI,是否需要开源时,Julian Togelius表示,“我不认为AGI是一个定义特别明确或有用的概念。如果你 5 年前向某人展示 Claude 3 或... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人