* 上下文在接下来还有很大扩展空间,会有几个数量级,不能只看长度,要看它在这个窗口下能实现的推理能力、the faithfuln

* 上下文在接下来还有很大扩展空间,会有几个数量级,不能只看长度,要看它在这个窗口下能实现的推理能力、the faithfulness的能力(对原始信息的忠实度)、the instruction following的能力(遵循指令的能力)不应该只追求单一指标,而是结合指标和能力。 * 除了综合能力,在很多空间可以产生独特的能力,能在一些方向做到state of the art(世界领先),比如 Midjourney V6。 * 三年后会有一定程度的AGI。我们今天在做的很多事AI也能做,甚至它做得更好。但关键看我们怎么用它。 * 月之暗面接下来的两件事第一件是世界模型,第二件AI 持续进化的能力。 * (GPT-4)是AGI的必经之路。核心是,不能只满足做到GPT-4的效果。一是要想现在真正的非共识是什么,除了GPT-4,下一步是什么?GPT-5和GPT-6应该是什么样?二是看,你在这里面有哪些独特能力,这点更重要。 * 月之暗面北极星指标:独特价值是你增量的智能。要抓住这个点,智能永远是最核心的增量价值。如果你这个产品最核心价值只有10%-20%来自于AI,就不成立。 * AI不是我在接下来一两年找到什么PMF,而是接下来十到二十年如何改变世界,你的目的假设是商业化,你不可能脱离AGI去思考。只做应用很容易被碾压。 * 技术是这个时代唯一新变量,其他变量没变。AGI是所有事情的核心。 * 为什么开源追不上闭源?因为开源的开发方式跟以前不一样了,以前是所有人都可以contribute(贡献)到开源,现在开源本身还是中心化的。 * 这一轮和上一轮创业的最大区别就是,这次会更加技术驱动。 * Sora 主要瓶颈,核心还是数据,你怎么去规模化地拟合这个数据?之前没被验证过。剩下的是它也没有完全解决,比如需要一个统一的architecture(架构)。DiT这个architecture仍然不是非常通用。 * Sora现在就有点像(视频生成的)GPT-3.5,是阶跃式提升。 * Sora+GPT 会产生什么?对世界的理解更好了,可以在数字世界里做更加端到端的任务,甚至去架起一座桥梁,连接物理世界,完成一些物理世界里的任务。这是起点(这也是 Open AI 投资机器人公司的原因?)。 * 我个人判断至少在接下来一到两年,卡不会成为很大瓶颈。 * 招人思路发生过一些变化。世界上AGI人才非常有限,有经验的人很少。我们最早期的画像是,专注找对口的genius(天才)。 * 解决幻觉问题主要还是靠scaling law,就是scale的是不一样的东西。 * 在能力上应该今年下半年会有一些比较大的突破,很多会来自OpenAI,它肯定还有下一代模型有可能是4.5,也有可能是5,感觉是大概率事件。视频的生成模型肯定还能继续scale。 * 国内大模型公司的预测:一是可以看到新的独特能力产生。你会看到国产模型,因为前期的投入,有合适的团队,做出世界领先的某一些维度的能力。二是会出现更多用户量级更大的产品,这是大概率的。三是会有进一步的consolidation和路线选择的分化。 访谈原文:

相关推荐

封面图片

《公主大人,接下来是“拷问”时间[2024]》

《公主大人,接下来是“拷问”时间[2024]》 简介:这部2024年的作品充满神秘色彩,“公主大人”与“拷问”的组合充满悬念。故事或许围绕公主展开,可能是在宫廷权谋斗争中,公主对敌人或知晓秘密之人进行“拷问”,由此引出一系列惊心动魄的情节,涉及宫廷秘史、爱恨情仇与权力博弈。 标签: #公主大人接下来是拷问时间 #宫廷剧 #悬疑剧情 #权力斗争题材 文件大小 NG 链接 点我观看

封面图片

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K,是目前全球最长的上下文窗口,能够一次处理约35万

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K,是目前全球最长的上下文窗口,能够一次处理约35万个汉字。 官方宣称:Baichuan2-192K不仅在上下文窗口长度上超越Claude2,在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。 10项长文本评测7项取得SOTA,全面领先Claude2 Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异,有7项取得SOTA,显著超过其他长窗口模型。 此外,LongEval的评测结果显示,在窗口长度超过100K后Baichuan2-192K依然能够保持非常强劲的性能,而其他开源或者商用模型在窗口长度增长后效果都出现了近乎直线下降的情况。Claude2也不例外,在窗口长度超过80K后整体效果下降非常严重。 Baichuan2-192K正式开启内测,已落地法律、媒体等诸多真实场景 Baichuan2-192K现已正式开启内测,以API调用的方式开放给百川智能的核心合作伙伴,已经与财经类媒体及律师事务所等机构达成了合作,将Baichuan2-192K全球领先的长上下文能力应用到了传媒、金融、法律等具体场景当中,不久后将全面开放。

封面图片

接下来会有很多大楼被端?

接下来会有很多大楼被端? NBI总部四个部门将联合打击网络违法犯罪 #NBI #AKG #菲国家警察局 #总统府 今天举行了集体会议, 并且会议中展示了一些大楼的英文名字 会议不允许拍照,具体什么大楼不知道。但是可以确定一件事情就是,接下来会有很多大楼被端,祝大家好运吧 :小马昨天刚宣布禁止pogo,这些黑警马上就蠢蠢欲动了,在他们看来这是捞钱的机会,而且是最后的机会

封面图片

看了几遍腾讯新闻对月之暗面杨植麟的专访,把我认为一些认同的重点的内容记了一下,分成两部分重点的底层认知和其他要点。各位有什么看法

看了几遍腾讯新闻对月之暗面杨植麟的专访,把我认为一些认同的重点的内容记了一下,分成两部分重点的底层认知和其他要点。各位有什么看法也可以在下面讨论。 重点认知: * AI 组织的要素:更多的人才,更多的资本。 * AI不是我在接下来一两年找到什么PMF,而是接下来十到二十年如何改变世界。 * 真正的 AGI 肯定是全球化的,不存在由于某种保护机制你可以只做某个区域的 AGI 公司,全球化、 AGI 、和大用户量产品是成功的必要条件。 * AI 领域接下来的竞争中会有更多的差异化,需要提前做预判和准备到底什么是“成立的非共识”。 * 接下来会有两个大的milestone(里程碑)。一是真正的统一的世界模型,就是它能统一各种不同模态,一个真正的scalable和general的architecture(可扩展、通用的系统结构)(Sora 启发)。二是能在没有人类数据输入的情况下,使AI持续进化(详细见 AK 10 月份视频倒数第二部分)。 * “应用”本身是实现 AGI 的手段,也是实现 AGI 的目的。 * AI唯一work就是next token prediction + scaling law,只要token足够完整,都是可以做的。 * 想知道但还不知道的事情:我不知道AGI的上限是什么样的,它会产生一个什么样的公司,这个公司能产生出来什么样的产品。这是我现在最想知道的事。(重点) 其他要点: * “搞定”不是一个好的词,背后本质是合作。合作就是能双赢,因为双赢是合作的前提。所以也没什么区别,需要给别人提供独特价值 * 为AI 时代的组织形式,有很多自顶向下的规划,但规划中又有创新空间,并不是所有技术都确定。 * Sam 去微软里领导新的团队有什么问题?需要在就文化中产生新组织,难度很大(这也是很多大厂选择投资而不是自己做的原因?)。 * AGI最终会是一个跟所有用户协作产生的东西。所以,不光是技术,也需要功利主义和现实追求。 * 长文本是新计算机的内容(AK在 10 月份的科普视频最后有类似比喻),要变成通用的世界模型,是需要long context的。 * 重要内容是个性化,AI最核心的价值是个性化互动,价值落脚点还是个性化,AGI会比上一代推荐引擎更加个性化。

封面图片

英伟达Jim Fan反击扎克伯格AI“寒冬”论:AI领域还有巨大潜力

英伟达Jim Fan反击扎克伯格AI“寒冬”论:AI领域还有巨大潜力 Jim Fan的观点概括来说如下:他不认为当前会出现“人工智能(AI)冬天”的现象,即AI发展遇到停滞。即便GPT-5等大型语言模型的发展可能会放缓,但AI的其他领域如机器人技术仍有巨大的发展空间;他强调了具身智能(Embodied Intelligence)在物理世界中的重要性。机器人等能够在现实环境中运作的人工智能系统,未来将是创造经济价值的强大动力;他提醒大家,大型语言模型(LLM)只是人工智能领域的一小部分,人工智能是由多种不同技术组成的“大拼图”。扎克伯格作为科技巨头,几乎拥有实现AGI一切资源,如果你去仔细看Llama 3发布作者小扎也在里面,也就是说小扎同时还在技术一线,小扎既是技术乐观主义者,也是人工智能能力现实主义者。他并不宣扬AI奇点或接管人类的神话故事。 只是冷酷的现实告诉我们,依赖GPU计算能力的这一特定发展曲线可能无法一路无阻地持续攀升,AGI的确短时期不会实现,而马斯克的预言却完全相反,马斯克认为明年底人工智能就会超过所有人类,马斯克也表达了未来10年人形机器人部署和产量将会超过iPhone,这与Jim Fan的观点一致。目前Llama 3 70B在人工智能竞技场排名中已经接近最强的GPT4模型,要知道GPT4模型参数高达1800B, Llama 3 400B还在训练中,预期可以超越GPT4,这将是开源模型第一次超越GPT4,未来几个月将会发布,有人预测GPT5将会在 Llama 3 400B 发布之前推出,要不然大家肯定不会去继续订阅了,但现在问题是除非GPT5非常强,如果只是平常升级,OpenAI的算盘接下来可就不好打了,所以GPT5是非常关键的。结语Jim Fan非常看好具身智能机器人发展,这也是英伟达重点投资领域,所以接下来怎么样呢?你认为以下机器人那个更有前途? ... PC版: 手机版:

封面图片

OpenAI表示,GPT商店最初将向付费ChatGPT Plus计划的用户推出。在接下来的几个月里,公司打算添加一种让GPT创作

OpenAI表示,GPT商店最初将向付费ChatGPT Plus计划的用户推出。在接下来的几个月里,公司打算添加一种让GPT创作者能够通过他们个性化的AI赚钱的方式。 标签: #OpenAI #ChatGPT 频道: @GodlyNews1 投稿: @GodlyNewsBot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人