马斯克即将发布的大模型能力概览:

马斯克即将发布的大模型能力概览: 计划装上特斯拉 最高支持2.5万字符输入 可以获取twitter最新信息 这里面最吸引人的应该是2.5万的字符上下文,相当于25K的characters。按照OpenAI自己认为1个token约等于0.75个字符来说,25K的characters相当于33.3K的tokens,比GPT-4-32K稍长。 Grōk AI的SuperPrompt功能 除了前面透露的功能外,还有个超级Prompt功能也是Grōk AI提供的。根据信息透露,SuperPrompt是一种情感驱动的Prompt,可以大幅增强LLM对用户输入的理解。这种技术的实施可能包括在构造提示时包含某些特定的情感或心理触发词,从而使AI的响应更加精确和人性化。 Grōk AI强大的新闻能力根据透露 Grōk AI 对新闻的 “感觉 “是其他人工智能平台无法比拟的。由于 Grōk AI 是通过 Twitter EB级数据中的 “突发 “新闻进行训练的,因此它对新闻有敏锐的嗅觉。它能从偏见中辨别出突发新闻的要素。这意味着可能可以很快的分发重要的新闻,并尽可能实现客观与真实。也就是说Grōk AI会因为清晰、公正的洞察力成为突发新闻事件的 “首选”。 所以估计会很好玩

相关推荐

封面图片

马斯克、OpenAI决裂背后,大模型应该开源还是闭源?

马斯克、OpenAI决裂背后,大模型应该开源还是闭源? 此次纠纷的焦点之一是马斯克对OpenAI的开源要求。而这背后所折射出的也是AI浪潮下科学界的长期争论话题到底应该开源还是闭源?纽约大学坦登工程学院计算机科学与工程系副教授Julian Togelius在接受《每日经济新闻》记者采访时表示,开源是大势所趋。“开源对于防止权力集中很重要。到目前为止,每个大型模型都在某种程度上是‘可越狱的’。”马萨诸塞大学洛厄尔分校计算机科学教授Jie Wang则对每经记者表示,“未来各主要参与者都会将其大模型的某些部分开源,但绝对不是最重要的部分,例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日,马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼,震惊全球科技圈。在马斯克的起诉书中,他斥责OpenAI违背“初心”,要求OpenAI恢复开源并给予赔偿。3月5日,OpenAI曝光了马斯克与他们的大量往来邮件,称马斯克提议 OpenAI 与特斯拉合并或由他完全控制,但双方未能就盈利性实体的条款达成一致。3月6日,马斯克在Twitter上回复,“如何OpenAI改名为ClosedAI,我就撤销诉讼。”图片来源:每经制图9年前,正是在AI上志同道合,马斯克和阿尔特曼等人携手创办了非营利性AI研究实验室“OpenAI”来对抗以Google为代表的科技巨头。而如今,马斯克与阿尔特曼及其所在的OpenAI彻底决裂,双方旧日坚持的“初心”成为矛盾焦点。在OpenAI的官网主页上写着,“我们的使命是确保通用人工智能(AGI)造福全人类。”最初,OpenAI的确作为一个非营利组织坚持着这样的路线。而自GPT-2后,OpenAI采取了闭源策略,公司出售大模型API访问权限,但不再发布有关其训练数据和模型架构的详细信息。2019年,阿尔特曼还组建了一个由OpenAI非营利组织管理的营利性实体,以便从微软等外部投资者那里筹集资金。对此,OpenAI在5日发文时曾解释,这是因为“开发 AGI 所需的资源远超过最初预期”。随着OpenAI核心技术不再开源,且与微软的关系越来越密切时,马斯克的不满可想而知。马斯克在起诉书中批评称:“OpenAI已经变成了全球最大技术公司微软事实上的闭源子公司。在其新董事会的领导下,OpenAI不仅在开发,而且实际上正在完善一种AGI,以最大化微软的利润,而不是造福人类。”背后是开源闭源路线之争在双方的争端中,一个值得关注的点是,马斯克要求OpenAI恢复开源。这折射出的也是AI浪潮下的一个争议性话题到底应该开源还是闭源?在开源闭源之争上,马斯克坚定地选择了前者。《每日经济新闻》记者注意到,马斯克旗下特斯拉的核心技术就已经在全球范围内开源。根据新加坡咨询公司GreyB的统计,截至2023年末,全球范围内特斯拉共拥有专利3304项(不包含审批中专利),其中有2397项仍然有效。据媒体统计,刨除重复的情况,特斯拉共有222项开放专利。从技术类别上看,特斯拉开放的专利属于比较核心的专利。图片来源:GreyB网站马斯克旗下另一家公司SpaceX也曾公开猛禽发动机图纸。在去年12月接受外媒采访时,马斯克曾透露,“SpaceX不使用(独占)专利,完全开放。”而将视角放大到整个科技界,开源还是闭源也是一直争论不休的话题。2023年10月31日,“开源派”曾签署了一份呼吁AI研发更加开放的联名信,截至发稿,1821名专家都签下了名字。图片来源:mozilla官网“开源对于防止权力集中很重要,我们不希望未来只有少数财力雄厚的科技公司才能控制前沿模型。” 纽约大学坦登工程学院计算机科学与工程系副教授Julian Togelius在接受《每日经济新闻》记者采访时表示。“到目前为止,每个大型模型都在某种程度上是‘可越狱的’。(开源让)我们了解其弱点,才能知道如何更好地部署模型。”(注:“越狱”指的是通过提示注入技术修改模型的行为。)马萨诸塞大学洛厄尔分校计算机科学教授Jie Wang也对每经记者称,“开源代码可以提高透明度并有助于推进技术,世界各地的相关方可以帮助识别开发团队未能发现的代码中的潜在陷阱,并提供更正。这有助于降低代码可能执行有害操作的风险。”不过,他也指出,开源并不是解决所有安全问题的灵丹妙药。而反对开源的一派认为,开源AI会被不良行为者操纵。去年10月20日,来自麻省理工学院和剑桥大学的科学家们发表了一篇论文,他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害,结果发现,开源大模型的确可能存在风险。Jie Wang对记者表示,“不同的态度取决于不同的身份。学术研究人员希望AI技术是开源的,以便可以评估和修改代码。另一方面,企业家可能为了保护投资和业务,而不愿意开放源代码。”科技巨头与AI新贵在开源或闭源的问题上也采取了不同的路线。前者最近在互联网上免费提供了其生成式AI的代码,例如,目前开源大模型被Meta的Llama主导,许多开源模型都是基于Llama而开发;后者如OpenAI和Anthropic则出售专有AI模型的API访问权限,但不共享代码。OpenAI和Anthropic高管认为,政府应该监管最强大的AI模型,这样坏人就不能轻易利用它们。今年1月,Anthropic 公司研究人员还发表论文警告称,AI中毒可能导致开源大模型变成潜伏的间谍。图片来源:arxiv.org但在去年9月的美国参议院人工智能洞察论坛上,Meta首席执行官马克·扎克伯格等人却认为,开源模式对美国保持竞争力至关重要,科技行业可以解决对开源模式安全的担忧。若实现AGI,是否需要开源?“开源是大势所趋,我认为Meta正在引领这一趋势,其次是Mistral AI、HuggingFace等规模较小的公司。” Julian Togelius告诉《每日经济新闻》记者。尽管Mistral AI最初推出了开源模型,随着规模的扩大,其作风似乎越来越像OpenAI靠近,采取了闭源路线。对此,Togelius表示,“他们需要以某种方式赚钱,但目前还不清楚如何在这个领域最好地赚钱,但Mistral AI比 OpenAI 几乎不开源的情况要好得多。”而大型科技巨头Google近日的动作似乎也是对Togelius言论的验证。今年2月,Google罕见地改变了去年坚持的大模型闭源策略,推出了“开源”大模型Gemma。有报道认为,Gemma代表Google大模型策略的转变兼顾开源和闭源,开源主打性能最强大的小规模模型,希望战胜Meta和Mistral AI;闭源则主打规模大的效果最好的大模型,希望尽快追上OpenAI。去年5月,一份Google的内部文件曾在网上激起千层浪。文件认为,开源大模型迅猛发展,正在侵蚀OpenAI和Google的阵地。除非改变闭源的立场,否则开源替代品将最终使这两家公司黯然失色。“虽然我们的模型在质量方面仍略占优势,但(闭源和开源模型)的差距正在以惊人的速度缩小。”文件写道。“这(指的是Google的新举措)对研究和开发人员来说的确是个好消息。”Jie Wang对每经记者说道。“不过我怀疑Google是否会将一切开源。我认为未来各个主要参与者都会将其大模型的某些部分开源,以便研究人员和开发人员了解模型的架构和训练过程,但从业务角度来看绝对不是最重要的部分,例如用于训练其 LLM 和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”而在对OpenAI的起诉书中,马斯克还提到了对AGI(通用人工智能)的担忧。当被问及若达到AGI,是否需要开源时,Julian Togelius表示,“我不认为AGI是一个定义特别明确或有用的概念。如果你 5 年前向某人展示 Claude 3 或... PC版: 手机版:

封面图片

马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI,因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向,讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0,接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度,根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中:Grok-1 强过 GPT-3.5,弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题"): 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

封面图片

马斯克称OpenAI最新模型“慢得离谱”

马斯克称OpenAI最新模型“慢得离谱” 一名用户在X(前身为Twitter)上分享了一段GPT-4o代表自己与另一名代表该公司的聊天机器人说话的演示视频。另一名用户分享了这段视频,并评论道:“99%的经济将是AI之间的对话”,可能是指很快大多数经济活动将由人工智能系统促进。然而,马斯克对这两位用户的帖子和评论不以为然,回应称“不是以这种慢得离谱的比特率。”尽管马斯克持怀疑态度,但OpenAI的GPT-4o仍代表了人工智能能力的重大飞跃。它可以实时处理文本、音频和图像,以及对口头问题的快速反应,这可以显著提高客户服务和其他AI驱动的应用程序。与此同时,马斯克自己的人工智能初创公司xAI的估值预计将达到200亿美元,超过了最初的预期,表明人们对人工智能技术的兴趣日益浓厚。相关文章:GPT-4o:OpenAI变慢了 ... PC版: 手机版:

封面图片

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI

马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI 有意思的是,Grok-1宣布开源的封面图为Midjourney生成,可谓“AI helps AI”。一直吐槽OpenAI不open的马斯克,自然要在社交平台上含沙射影一番,“我们想了解更多OpenAI的开放部分。”Grok-1遵照Apache 2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今,已经在GitHub上揽获6.5k星标,热度还在持续增加。项目说明中明确强调,由于Grok-1是一个规模较大(314B参数)的模型,需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628 GB GPU内存的机器。此外,该存储库中MoE层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说,发布开源模型有助于社区展开大规模的测试和反馈,意味着模型本身的迭代速度也能加快。Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程:在宣布成立xAI之后,相关研究人员首先训练了一个330亿参数的原型语言模型(Grok-0),这个模型在标准语言模型测试基准上接近LLaMA2(70B)的能力,但使用了更少的训练资源;之后,研究人员对模型的推理和编码能力进行了重大改进,最终开发出了Grok-1并于2023年11月发布,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%的成绩,在MMLU中达到了73%,超过了其计算类中的所有其他模型,包括ChatGPT-3.5和Inflection-1。与其他大模型相比,Grok-1的优势在哪呢?xAI特别强调,Grok-1是他们自己从头训练的大模型,即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练,没有针对特定任务(如对话)进行微调;Grok-1的一个独特而基本的优势是,它可以通过X平台实时了解世界,这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据;3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%,这一庞大的参数量为其提供了强大的语言理解和生成能力。xAI此前介绍,Grok-1将作为Grok背后的引擎,用于自然语言处理任务,包括问答、信息检索、创意写作和编码辅助。未来,长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。 ... PC版: 手机版:

封面图片

马斯克谈 DeepSeek

马斯克谈 DeepSeek 马斯克最近又开麦了!这次他聊到中国AI的发展,尤其是对DeepSeek的评价,信息量不小。他先是狂赞了一波中国的工程师,认为中国拥有大量聪明且积极的人才,历史上也曾长期是全球最强国家。所以在他看来,中国的崛起更像是“回归常态”,而不是偶然。 不过,谈到DeepSeek时,马斯克的语气就冷静多了。他虽然承认DeepSeek令人印象深刻,但直言它并不能算AI领域的“完全革命”。更劲爆的是,他还透露xAI和其他公司很快就会推出比DeepSeek更强大的模型,直接暗示:好戏还在后头!

封面图片

马斯克造大模型从特斯拉连挖高管 要不他们可能就跳槽到OpenAI了

马斯克造大模型从特斯拉连挖高管 要不他们可能就跳槽到OpenAI了 该初创公司的网站显示,上个月,机器学习科学家 Ethan Knight 成为第三位投身 xAI 的特斯拉工程师。据一位前员工透露,在特斯拉,Knight 负责监督特斯拉自动驾驶技术的计算机视觉团队。而在他之前,一些在特斯拉从事超级计算、自动驾驶系统和人工智能基础设施的工作的工程师,也纷纷在过去 12 个月内转而加入 xAI。在该消息被媒体报道后,马斯克在 X(前 Twitter)上表示,因为 Knight 即将转向 OpenAI,所以自己才出手了,“要么是 xAI,要么是他们……OpenAI 一直在积极招募特斯拉工程师,并提供巨额薪酬。不幸的是,经常有成功挖人的例子。”“AI 人才争夺战是我见过的最疯狂的人才争夺战!”马斯克后来补充道,特斯拉正在增加 AI 工程人员的薪酬。从人才流动的方向或许可以看出,致力于发展人工智能的 xAI 正在成为马斯克的关注重点。这也凸显了马斯克倾向于为他的私人公司(包括 SpaceX 和 X)聘用上市公司特斯拉员工的倾向。自从 1 月份表示“在自己持有不到 25% 股票的情况下,特斯拉若成为人工智能和机器人领域的领导者会让自己深感不安”以来,马斯克旗下公司之间的人员流动具有了新的意义。马斯克的这条评论,是在特拉华州法官宣布他 560 亿美元特斯拉薪酬方案无效、将他的股份维持在约 13% 之前发出的。如果裁决成立,特斯拉董事会将不得不发布新的薪酬方案,而马斯克暗示的要减少特斯拉对人工智能关注的威胁,被认为可能会在这些谈判中发挥作用。自启动以来,xAI 的研发进展飞快,该公司先是推出了聊天机器人 Grok ,并可通过 X 平台直接访问。在上个月,马斯克兑现承诺将 3140 亿参数的 Grok-1 大模型开源,它成为了当前参数量最大的开源大语言模型。就在上周,Grok 演进到了 1.5 版本,在推理能力上获得了大幅度的升级,已支持长达 128k 的上下文。然而与此同时,特斯拉也经历了人才流失。Ethan Knight 是不到两年内第三位负责监督特斯拉计算机视觉项目的工程师。此前负责该项目的著名人工智能研究员 Andrej Karpathy 于 2022 年 5 月离开特斯拉,最终加盟了老东家 OpenAI。特斯拉用 John Emmons 取代 Karpathy,而后者也于 2023 年 5 月离开了特斯拉。Emmons 的领英个人资料显示,他去年秋天加入了 Salesforce,担任人工智能总监。特斯拉的计算机视觉团队致力于构建特斯拉车型上著名的 Autopilot 智能驾驶产品背后的先进 AI 能力,可让特斯拉电车实现智能辅助驾驶(Full Self-Driving,FSD)、自动泊车等功能。这项技术对于标榜智能化的特斯拉品牌至关重要。据报道,上周马斯克曾下令让特斯拉销售团队向所有潜在买家展示 FSD 能力,以促进该功能的销售,该功能的售价为 1.2 万美元,每月订阅费为 199 美元。马斯克表示,特斯拉目前已开始提供一个月的免费试用。另一方面,xAI 目前在网站上显示的技术员工数量为 32 名。其中包括 Ross Nordeen 他曾在特斯拉从事超级计算工作,并于 2023 年 5 月离开,并与马斯克共同创立了 xAI。Fabio Aguilera-Convers 于 2023 年 8 月离开特斯拉 Autopilot 团队,了加入 xAI。Tim Zaman 曾在特斯拉从事 AI 基础设施工作,后来在马斯克的另一家公司 X 从事人工智能工作。根据他的 LinkedIn 页面,他于 2023 年底加入了 Google DeepMind。特斯拉还在继续招聘,其 Autopilot 和 Optimus 机器人团队有数十名空缺职位,但如何与 AI 领域快速发展的初创公司争夺人才,是马斯克需要考虑的问题。本周二,特斯拉公布的 2024 年第一季度产量和交付报告让市场感到有点信心不足。报告期内,特斯拉共交付 386810 辆汽车,低于分析师先前平均预期的 449080 辆。这是特斯拉自 2022 年三季度以来首次跌破 40 万辆关口的记录,同时也是自 2020 年二季度以来的首次同比下跌:与去年第一季度 422875 辆的交付量相比减少了超 8.5%。看来在 AI 领域的人才争夺战中,马斯克的办法也不多。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人