专访月之暗面杨植麟:lossless long context is everything

信息密度巨大,杨植麟不愧是世界顶级科学家&创业者。“历史上所有的架构演进本质上都是在提升有效的contextlength。word2vec最近拿了NeurIPS的TestofTime奖。它在10年前用一个词去预测周围的词,相当于contextlength是5。RNN把有效的contextlength提升到了20。LSTM涨到大几十。transformer到了几千。现在我们能做到几十万。”这段话真的让我豁然开朗。从工业时代到互联网时代到AI时代,规模效应是变量中的不变量。

相关推荐

封面图片

月之暗面创始人杨植麟:多模态是重点投入方向5月18日,MoonshotAI月之暗面创始人杨植麟现身第五届上海创新创业青年50人论

封面图片

月之暗面回应创始人杨植麟套现数千万美元:消息不实针对上一轮融资完成后,月之暗面(MoonshotAI)创始人杨植麟通过售出个人持

封面图片

【杨植麟套现数千万美金?月之暗面回应:不实消息】4月23日,有市场消息称,上一轮融资完成后,月之暗面创始人杨植麟通过售出个人持股

封面图片

月之暗面 CEO 杨植麟:AI 安全不一定最急迫,但需要我们提前去准备

月之暗面CEO杨植麟:AI安全不一定最急迫,但需要我们提前去准备今日举办的2024智源大会上,百川智能CEO王小川、智谱AICEO张鹏、月之暗面CEO杨植麟、面壁智能联合创始人、CEO李大海共同出席《尖峰对话:通往AGI之路》环节。在谈及AI安全时,月之暗面CEO杨植麟表示,“AI安全是非常重要的,它可能不一定是当前最急迫,但是一个需要我们提前去准备的事情。”(新浪科技)

封面图片

看了几遍腾讯新闻对月之暗面杨植麟的专访,把我认为一些认同的重点的内容记了一下,分成两部分重点的底层认知和其他要点。各位有什么看法

看了几遍腾讯新闻对月之暗面杨植麟的专访,把我认为一些认同的重点的内容记了一下,分成两部分重点的底层认知和其他要点。各位有什么看法也可以在下面讨论。重点认知:*AI组织的要素:更多的人才,更多的资本。*AI不是我在接下来一两年找到什么PMF,而是接下来十到二十年如何改变世界。*真正的AGI肯定是全球化的,不存在由于某种保护机制你可以只做某个区域的AGI公司,全球化、AGI、和大用户量产品是成功的必要条件。*AI领域接下来的竞争中会有更多的差异化,需要提前做预判和准备到底什么是“成立的非共识”。*接下来会有两个大的milestone(里程碑)。一是真正的统一的世界模型,就是它能统一各种不同模态,一个真正的scalable和general的architecture(可扩展、通用的系统结构)(Sora启发)。二是能在没有人类数据输入的情况下,使AI持续进化(详细见AK10月份视频倒数第二部分)。*“应用”本身是实现AGI的手段,也是实现AGI的目的。*AI唯一work就是nexttokenprediction+scalinglaw,只要token足够完整,都是可以做的。*想知道但还不知道的事情:我不知道AGI的上限是什么样的,它会产生一个什么样的公司,这个公司能产生出来什么样的产品。这是我现在最想知道的事。(重点)其他要点:*“搞定”不是一个好的词,背后本质是合作。合作就是能双赢,因为双赢是合作的前提。所以也没什么区别,需要给别人提供独特价值*为AI时代的组织形式,有很多自顶向下的规划,但规划中又有创新空间,并不是所有技术都确定。*Sam去微软里领导新的团队有什么问题?需要在就文化中产生新组织,难度很大(这也是很多大厂选择投资而不是自己做的原因?)。*AGI最终会是一个跟所有用户协作产生的东西。所以,不光是技术,也需要功利主义和现实追求。*长文本是新计算机的内容(AK在10月份的科普视频最后有类似比喻),要变成通用的世界模型,是需要longcontext的。*重要内容是个性化,AI最核心的价值是个性化互动,价值落脚点还是个性化,AGI会比上一代推荐引擎更加个性化。

封面图片

捷顺科技子公司顺易通与月之暗面创始人杨植麟的首创企业循环智能达成战略合作

捷顺科技子公司顺易通与月之暗面创始人杨植麟的首创企业循环智能达成战略合作据《36氪》近日报道,行业大模型解决方案提供商循环智能(RecurrentAI)宣布,与成功研发出Kimi大模型的公司月之暗面(MoonshotAI)达成深度战略合作。循环智能为月之暗面创始人杨植麟的首创企业。而去年4月份捷顺科技控股子公司顺易通与循环智能达成战略合作,双方将在基于「盘古2.0」的大规模语言模型下,结合顺易通海量停车场和场景运营数据,围绕AI+智慧停车开展一系列共创合作项目。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人