* 上下文在接下来还有很大扩展空间,会有几个数量级,不能只看长度,要看它在这个窗口下能实现的推理能力、the faithfuln

* 上下文在接下来还有很大扩展空间,会有几个数量级,不能只看长度,要看它在这个窗口下能实现的推理能力、the faithfulness的能力(对原始信息的忠实度)、the instruction following的能力(遵循指令的能力)不应该只追求单一指标,而是结合指标和能力。 * 除了综合能力,在很多空间可以产生独特的能力,能在一些方向做到state of the art(世界领先),比如 Midjourney V6。 * 三年后会有一定程度的AGI。我们今天在做的很多事AI也能做,甚至它做得更好。但关键看我们怎么用它。 * 月之暗面接下来的两件事第一件是世界模型,第二件AI 持续进化的能力。 * (GPT-4)是AGI的必经之路。核心是,不能只满足做到GPT-4的效果。一是要想现在真正的非共识是什么,除了GPT-4,下一步是什么?GPT-5和GPT-6应该是什么样?二是看,你在这里面有哪些独特能力,这点更重要。 * 月之暗面北极星指标:独特价值是你增量的智能。要抓住这个点,智能永远是最核心的增量价值。如果你这个产品最核心价值只有10%-20%来自于AI,就不成立。 * AI不是我在接下来一两年找到什么PMF,而是接下来十到二十年如何改变世界,你的目的假设是商业化,你不可能脱离AGI去思考。只做应用很容易被碾压。 * 技术是这个时代唯一新变量,其他变量没变。AGI是所有事情的核心。 * 为什么开源追不上闭源?因为开源的开发方式跟以前不一样了,以前是所有人都可以contribute(贡献)到开源,现在开源本身还是中心化的。 * 这一轮和上一轮创业的最大区别就是,这次会更加技术驱动。 * Sora 主要瓶颈,核心还是数据,你怎么去规模化地拟合这个数据?之前没被验证过。剩下的是它也没有完全解决,比如需要一个统一的architecture(架构)。DiT这个architecture仍然不是非常通用。 * Sora现在就有点像(视频生成的)GPT-3.5,是阶跃式提升。 * Sora+GPT 会产生什么?对世界的理解更好了,可以在数字世界里做更加端到端的任务,甚至去架起一座桥梁,连接物理世界,完成一些物理世界里的任务。这是起点(这也是 Open AI 投资机器人公司的原因?)。 * 我个人判断至少在接下来一到两年,卡不会成为很大瓶颈。 * 招人思路发生过一些变化。世界上AGI人才非常有限,有经验的人很少。我们最早期的画像是,专注找对口的genius(天才)。 * 解决幻觉问题主要还是靠scaling law,就是scale的是不一样的东西。 * 在能力上应该今年下半年会有一些比较大的突破,很多会来自OpenAI,它肯定还有下一代模型有可能是4.5,也有可能是5,感觉是大概率事件。视频的生成模型肯定还能继续scale。 * 国内大模型公司的预测:一是可以看到新的独特能力产生。你会看到国产模型,因为前期的投入,有合适的团队,做出世界领先的某一些维度的能力。二是会出现更多用户量级更大的产品,这是大概率的。三是会有进一步的consolidation和路线选择的分化。 访谈原文:

相关推荐

封面图片

ℹAdobe 接下来还要帮 PDF 工具置入 AI 引擎#

ℹAdobe 接下来还要帮 PDF 工具置入 AI 引擎# 近年来 AI 浪潮袭卷而来,使得各家巨头无论是硬体还是软体、服务纷纷搭上了 AI 的风向,AI 也以摧枯拉朽之姿进驻了我们生活中的各种大小...

封面图片

32K上下文,Mistral 7B v0.2基模型突然开源了

32K上下文,Mistral 7B v0.2基模型突然开源了 这次开源的 Mistral 7B v0.2 Base Model ,是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型,后者属于该公司的“Mistral Tiny”系列。此次更新主要包括三个方面:将 8K 上下文提到了 32K;Rope Theta = 1e6;取消滑动窗口。下载链接:…更新之后的性能对比是这样的:场外观众迅速跟进。有人评价说:“Mistral 7B 已经是同尺寸级别中最好的模型,这次改进是一个巨大的进步。 我将尽快在这个模型上重新训练当前的许多微调。”Mistral AI 的第一个 7B 模型发布于 2023 年 9 月,在多个基准测试中实现了优于 Llama 2 13B 的好成绩,让 Mistral AI 一下子就打出了知名度。这也导致目前很多开源大模型都已不再对标 Llama 2,而是将 Mistral AI 旗下的各系列模型作为直接竞争对手。而 Mistral 7B v0.2 Base Model 对应的指令调优版本 Mistral-7B-Instruct-v0.2 在 2023 年 12 月就已开放测试,据官方博客介绍,该模型仅适用于英语,在 MT-Bench 上能够获得 7.6 分的成绩,逊于 GPT-3.5。此次开放基础模型之后,开发者们就可以根据自己的需求对这个“当前最好的 7B 模型”进行微调了。不过,7B 模型只能算是 Mistral AI 众多惊艳成果中的一项。这家公司的长远目标是对标 OpenAI。上个月底,Mistral AI 正式发布了“旗舰级”大模型 Mistral Large。与此前的一系列模型不同,这一版本性能更强,体量更大,直接对标 OpenAI 的 GPT-4。随着 Mistral Large 上线,Mistral AI 推出了名为 Le Chat 的聊天助手,也实现了对标 ChatGPT。而新模型的发布,也伴随着公司大方向的一次转型。人们发现, Mistral Large 并不是一个开源大模型 有跑分、 API 和应用,就是不像往常一样有 GitHub 或是下载链接。与 Mistral Large 发布同时发生的,是 Mistral AI 与微软达成了长期合作的协议,不仅会将 Mistral Large 引入 Azure,还收获了微软 1600 万美元的投资。Mistral AI 对路透社表示,作为交易的一部分,微软将持有该公司少数股权,但未透露细节。未来,二者的合作主要集中在三个核心领域:超算基础设施:微软将通过 Azure AI 超级计算基础设施支持 Mistral AI ,为 Mistral AI 旗舰模型的 AI 训练和推理工作负载提供一流的性能和规模;市场推广:微软和 Mistral AI 将通过 Azure AI Studio 和 Azure 机器学习模型目录中的模型即服务(MaaS)向客户提供 Mistral AI 的高级模型。除 OpenAI 模型外,模型目录还提供了多种开源和商业模型。人工智能研发:微软和 Mistral AI 将探索为特定客户训练特定目的模型的合作。当被问及公司是否正在改变其开源商业模式时,Mistral AI 联合创始人 Arthur Mensch 在采访中表示:“我们从开源模式开始,任何人都可以免费部署,因为这是广泛分发它们并创造需求的一种方式。但从一开始,我们就提供了一种具有优化模型的商业模式,这让使该公司能够为模型开发所需的昂贵研究提供资金。”参考链接: 2024)即将于 2024 年 3 月 30 日至 31 日在上海徐汇西岸美高梅酒店举行。本次大会由中国人工智能学会(CAAI)主办,CAAI 具身智能专委会(筹)、同济大学、中国科学院计算技术研究所、上海交通大学、中国经济信息社上海总部联合承办,全球高校人工智能学术联盟协办,机器之心独家 AI 媒体合作。盛会将为具身智能领域的学术与产业界搭建一个交流合作的顶级平台,以广泛促进学术分享与交流、产业合作与互动,推动产学研联动发展,提升我国具身智能技术的研究与应用水平。 ... PC版: 手机版:

封面图片

百度李彦宏:开源模型是智商税,闭源模型更强大、推理成本更低

百度李彦宏:开源模型是智商税,闭源模型更强大、推理成本更低 李彦宏称:“我觉得,开源其实是一种智商税”,“当你理性地去想,大模型能够带来什么价值,以什么样的成本带来价值的时候,就会发现,你永远应该选择闭源模型。今天无论是 ChatGPT、还是文心一言等闭源模型,一定比开源模型更强大,推理成本更低。” 百度李彦宏称开源 AI 模型会越来越落后(2024-04-16) 周鸿祎表示:“现在开源模型的能力达不到 GPT 4。但是专注在一个方向上,用企业内部的专有数据加上专业训练进行能力的加强之后,它就有可能在专业能力上超过 GPT 4。”

封面图片

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K,是目前全球最长的上下文窗口,能够一次处理约35万

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K,是目前全球最长的上下文窗口,能够一次处理约35万个汉字。 官方宣称:Baichuan2-192K不仅在上下文窗口长度上超越Claude2,在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。 10项长文本评测7项取得SOTA,全面领先Claude2 Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异,有7项取得SOTA,显著超过其他长窗口模型。 此外,LongEval的评测结果显示,在窗口长度超过100K后Baichuan2-192K依然能够保持非常强劲的性能,而其他开源或者商用模型在窗口长度增长后效果都出现了近乎直线下降的情况。Claude2也不例外,在窗口长度超过80K后整体效果下降非常严重。 Baichuan2-192K正式开启内测,已落地法律、媒体等诸多真实场景 Baichuan2-192K现已正式开启内测,以API调用的方式开放给百川智能的核心合作伙伴,已经与财经类媒体及律师事务所等机构达成了合作,将Baichuan2-192K全球领先的长上下文能力应用到了传媒、金融、法律等具体场景当中,不久后将全面开放。

封面图片

ℹ微软透露 Bing Chat 接下来即将获得的五项功能改进#

ℹ微软透露 Bing Chat 接下来即将获得的五项功能改进# 微软的 Bing Chat 诞生至今已经三个月了,但总让人觉得它好像已经存在更久,这是因为Bing Chat 本身是一场盛大 AI 革命的...

封面图片

英伟达Jim Fan反击扎克伯格AI“寒冬”论:AI领域还有巨大潜力

英伟达Jim Fan反击扎克伯格AI“寒冬”论:AI领域还有巨大潜力 Jim Fan的观点概括来说如下:他不认为当前会出现“人工智能(AI)冬天”的现象,即AI发展遇到停滞。即便GPT-5等大型语言模型的发展可能会放缓,但AI的其他领域如机器人技术仍有巨大的发展空间;他强调了具身智能(Embodied Intelligence)在物理世界中的重要性。机器人等能够在现实环境中运作的人工智能系统,未来将是创造经济价值的强大动力;他提醒大家,大型语言模型(LLM)只是人工智能领域的一小部分,人工智能是由多种不同技术组成的“大拼图”。扎克伯格作为科技巨头,几乎拥有实现AGI一切资源,如果你去仔细看Llama 3发布作者小扎也在里面,也就是说小扎同时还在技术一线,小扎既是技术乐观主义者,也是人工智能能力现实主义者。他并不宣扬AI奇点或接管人类的神话故事。 只是冷酷的现实告诉我们,依赖GPU计算能力的这一特定发展曲线可能无法一路无阻地持续攀升,AGI的确短时期不会实现,而马斯克的预言却完全相反,马斯克认为明年底人工智能就会超过所有人类,马斯克也表达了未来10年人形机器人部署和产量将会超过iPhone,这与Jim Fan的观点一致。目前Llama 3 70B在人工智能竞技场排名中已经接近最强的GPT4模型,要知道GPT4模型参数高达1800B, Llama 3 400B还在训练中,预期可以超越GPT4,这将是开源模型第一次超越GPT4,未来几个月将会发布,有人预测GPT5将会在 Llama 3 400B 发布之前推出,要不然大家肯定不会去继续订阅了,但现在问题是除非GPT5非常强,如果只是平常升级,OpenAI的算盘接下来可就不好打了,所以GPT5是非常关键的。结语Jim Fan非常看好具身智能机器人发展,这也是英伟达重点投资领域,所以接下来怎么样呢?你认为以下机器人那个更有前途? ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人