最近一周最大的 insights 是周伯远教授周六的分享,周教授是清华电子系长聘教授外加IEEE/CAAI FELLOW,是当年
最近一周最大的 insights 是周伯远教授周六的分享,周教授是清华电子系长聘教授外加IEEE/CAAI FELLOW,是当年 IBM WATSON GROUP首席科学家。 Bert 跟 GPT 单向/双向上下文训练的思路差异,Bert 是双向上下文,而 GPT 是单向自回归,之前知道这个实现细节,但没当回事。 周教授做了个非常形象的类比,本质上相当于训练的时候,Bert 是给了「标准答案」的,而 GPT 没给「标准答案」… Bert 追求的是文本生成的局部最优,而不是为了 AGI,因为他们从一开始就不相信语言模型可以实现 AGI。 内心忽然咯噔了一下,「标准答案」不就是「应试教育」吗…自己到目前为止的学习经历里面,好像成长最大的时候,都是来自于解决没有标准答案的问题时。 Invalid media:
在Telegram中查看相关推荐

🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人