信息密度巨大，杨植麟不愧是世界顶级科学家&创业者。

信息密度巨大，杨植麟不愧是世界顶级科学家&创业者。 “历史上所有的架构演进本质上都是在提升有效的 context length。word2vec 最近拿了 NeurIPS 的 Test of Time 奖。它在 10 年前用一个词去预测周围的词，相当于 context length 是 5。RNN 把有效的 context length 提升到了 20。LSTM 涨到大几十。transformer 到了几千。现在我们能做到几十万。” 这段话真的让我豁然开朗。 从工业时代到互联网时代到AI时代，规模效应是变量中的不变量。