专访月之暗面杨植麟：lossless long context is everything

信息密度巨大，杨植麟不愧是世界顶级科学家&创业者。“历史上所有的架构演进本质上都是在提升有效的contextlength。word2vec最近拿了NeurIPS的TestofTime奖。它在10年前用一个词去预测周围的词，相当于contextlength是5。RNN把有效的contextlength提升到了20。LSTM涨到大几十。transformer到了几千。现在我们能做到几十万。”这段话真的让我豁然开朗。从工业时代到互联网时代到AI时代，规模效应是变量中的不变量。