最近一周最大的 insights 是周伯远教授周六的分享,周教授是清华电子系长聘教授外加IEEE/CAAI FELLOW,是当年

最近一周最大的 insights 是周伯远教授周六的分享,周教授是清华电子系长聘教授外加IEEE/CAAI FELLOW,是当年 IBM WATSON GROUP首席科学家。 Bert 跟 GPT 单向/双向上下文训练的思路差异,Bert 是双向上下文,而 GPT 是单向自回归,之前知道这个实现细节,但没当回事。 周教授做了个非常形象的类比,本质上相当于训练的时候,Bert 是给了「标准答案」的,而 GPT 没给「标准答案」… Bert 追求的是文本生成的局部最优,而不是为了 AGI,因为他们从一开始就不相信语言模型可以实现 AGI。 内心忽然咯噔了一下,「标准答案」不就是「应试教育」吗…自己到目前为止的学习经历里面,好像成长最大的时候,都是来自于解决没有标准答案的问题时。 Invalid media:

相关推荐

封面图片

清华大学教授刘瑜 :“转发是最大的作为”

清华大学教授刘瑜 :“转发是最大的作为” “许多年后,假如有人问,当年你为社会做过的贡献是什么?我会说:我转发、传播了很多充满人性、良知、散发着正义光芒的文字,我拒绝了与邪恶同流合污” 柴静 欢迎您加入

封面图片

根据网友推测,GPT-4.5 Turbo的官方发布会很可能选在本周四,也就是GPT-4发布一周年的日子。作为佐证的是,OpenA

根据网友推测,GPT-4.5 Turbo的官方发布会很可能选在本周四,也就是GPT-4发布一周年的日子。作为佐证的是,OpenAI的CEO Sam Altman最近即将参加Lex Fridman的播客节目。在去年,Altman也是在GPT-4发布之后去了Fridman的播客。 那么GPT-4.5 Turbo被“剧透”的信息有哪些呢?首先是更大的上下文窗口,预告信息显示,GPT-4.5 Turbo的上下文窗口是GPT-4 Turbo的两倍,达到了256K,相当于约200000个单词。预告还透露,GPT-4.5 Turbo的“知识更新截止日期”是2024年6月,意味着原定的发布日期应该在6月之后。但其竞争对手Anthropic最近推出的Claude 3模型,在很多领域里已经与GPT-4旗鼓相当,OpenAI大大提前发布日期应该也是想夺回在AI大模型上的领导权。 当然,具体发布日期还都是推测,不过按照这个趋势,就算本周四不发布,距离发布日期也不远了。 via 匿名 标签: #OpenAI #GPT 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

上海人工智能实验室主任周伯文:AI 安全与性能发展失衡,探索 AI 45° 平衡律

上海人工智能实验室主任周伯文:AI 安全与性能发展失衡,探索 AI 45° 平衡律 2024 世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。上海人工智能实验室主任、首席科学家、清华大学惠妍讲席教授周伯文提出探索 “人工智能 45 度平衡律” 的技术主张。“发展可信 AGI(通用人工智能),要兼顾安全与性能,因此需要找到 AI 安全优先但又能保证 AI 能力长期发展的技术体系,我们把这样一种技术思想体系叫作 AI 45 度平衡律,长期来看要大体上沿着 45 度安全与性能平衡发展。” 周伯文表示,所谓的平衡是指短期内可以有波动,但不能长期低于 45 度,如同我们所处的现在;也不能长期高于 45 度,这会阻碍技术和产业应用的发展。(澎湃)

封面图片

资源我们与恶的距离 我们与恶的距离 (2019) 首播四周年 4K高码收藏版本

资源我们与恶的距离 我们与恶的距离 (2019) 首播四周年 4K高码收藏版本 资源简介:  「到底什么是好人,   什么是坏人,有标准答案吗? 」   这是由一场无差别杀人事件,延伸出的几个家庭间,不同立场、不同参与者的故事…….   ▪ 因孩子罹难濒临破碎的_受害者家庭   ▪ 儿子杀人于是避逃人群的_加害者家庭   ▪ 帮死刑犯辩护而受尽谴责的_法扶律师   ▪ 弟弟患病带给姐姐人生课题的_家庭   这是一个,可能发生在「我们」每个人身边的故事。当事件发生,我们会选择如何面对? 链接:【夸克网盘】点击获取 关键词:#剧情 #我们与恶的距离 频道:@yunpanpan 投稿:@zaihuaboxbot 资源搜索请在下方评论区即可

封面图片

周孝正教授:中国85%的医疗资源,都是给干部(尤其是高官)用的,且全额报销。

周孝正教授:中国85%的医疗资源,都是给干部(尤其是高官)用的,且全额报销。 “不惜一切代价”抢救的植物人(官员),一天耗费20万元的医疗资源。 而一半以上的农民,从生到死都没进过医院。农民怕一进医院就欠下一屁股钱,一还钱就家破人亡。所以宁可忍着在家耗着!

封面图片

台湾大学历史系教授周婉窈说,搞清楚白色恐怖时代的一个挑战是,历届政府继续对那个时期的许多文件保密。政府的担忧是,将这段历史公

台湾大学历史系教授周婉窈说,台湾搞清楚白色恐怖时代的一个挑战是,历届政府继续对那个时期的许多文件保密。政府的担忧是,将这段历史公开,可能给台湾社会制造难以弥合的分歧。 “转型正义,最重要是追求真相,罪责、参与者姓名明明都有了,但你选择遮掩,那还是没多大帮助。”

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人