最近一周最大的 insights 是周伯远教授周六的分享,周教授是清华电子系长聘教授外加IEEE/CAAI FELLOW,是当年

最近一周最大的 insights 是周伯远教授周六的分享,周教授是清华电子系长聘教授外加IEEE/CAAI FELLOW,是当年 IBM WATSON GROUP首席科学家。 Bert 跟 GPT 单向/双向上下文训练的思路差异,Bert 是双向上下文,而 GPT 是单向自回归,之前知道这个实现细节,但没当回事。 周教授做了个非常形象的类比,本质上相当于训练的时候,Bert 是给了「标准答案」的,而 GPT 没给「标准答案」… Bert 追求的是文本生成的局部最优,而不是为了 AGI,因为他们从一开始就不相信语言模型可以实现 AGI。 内心忽然咯噔了一下,「标准答案」不就是「应试教育」吗…自己到目前为止的学习经历里面,好像成长最大的时候,都是来自于解决没有标准答案的问题时。 Invalid media:

相关推荐

封面图片

清华大学教授刘瑜 :“转发是最大的作为”

清华大学教授刘瑜 :“转发是最大的作为” “许多年后,假如有人问,当年你为社会做过的贡献是什么?我会说:我转发、传播了很多充满人性、良知、散发着正义光芒的文字,我拒绝了与邪恶同流合污” 柴静 欢迎您加入

封面图片

根据网友推测,GPT-4.5 Turbo的官方发布会很可能选在本周四,也就是GPT-4发布一周年的日子。作为佐证的是,OpenA

根据网友推测,GPT-4.5 Turbo的官方发布会很可能选在本周四,也就是GPT-4发布一周年的日子。作为佐证的是,OpenAI的CEO Sam Altman最近即将参加Lex Fridman的播客节目。在去年,Altman也是在GPT-4发布之后去了Fridman的播客。 那么GPT-4.5 Turbo被“剧透”的信息有哪些呢?首先是更大的上下文窗口,预告信息显示,GPT-4.5 Turbo的上下文窗口是GPT-4 Turbo的两倍,达到了256K,相当于约200000个单词。预告还透露,GPT-4.5 Turbo的“知识更新截止日期”是2024年6月,意味着原定的发布日期应该在6月之后。但其竞争对手Anthropic最近推出的Claude 3模型,在很多领域里已经与GPT-4旗鼓相当,OpenAI大大提前发布日期应该也是想夺回在AI大模型上的领导权。 当然,具体发布日期还都是推测,不过按照这个趋势,就算本周四不发布,距离发布日期也不远了。 via 匿名 标签: #OpenAI #GPT 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

最近微软和谷歌都出了AI相关教程,谷歌的是Generative AI learning path(

最近微软和谷歌都出了AI相关教程,谷歌的是Generative AI learning path( 以上我收藏在提示工程资料导航站上: 如果你和我一样日理万机,只能收藏上面的教程作为心理安慰,其实也可以看下下面这个不到一小时的视频去了解下大模型基本原理: OPENAI创始成员在MS BUILD2023上的演讲State of GPT ( 今天又看了一遍,人工总结了几点我觉得比较有意思的部分: 1) 人类反馈强化学习RLHF比较难,不建议新手碰,LORA是个不错的技术,下半年推出的GPT微调接口是不是和LORA有关系? 2) GPT本质上是在上下文(工作记忆)影响下,预测下一个token,它不知道对错,没有价值观,不会反思回溯。即心理学家卡尼曼的书《思考:快与慢》中的系统I:直觉本能式给结果,不像系统II:理性思考。所以GPT其实推理能力不太好,需要提示工程方法来引导它做慢思考,比如用思维链COT,或最新的思维树TOT等。 我的感觉是GPT推理虽然不好,但是有的,看上去是在预测下一个token,其实是使用了深层能力。类似人类的直觉隐含了深层的知识,有时候比慢思考更正确。我记得的例子有:将军得到敌人从某方向进攻的情报,但将军的直觉是敌人佯攻,真实意图是从其它地方进攻。一个武林高手,进入一个幽静的陌生环境,能用直觉感觉到有埋伏,然后先拔刀做准备。 3) 思维链等方法反映了目前大模型的限制,并不自然,以后能不能用API包装下使用?或者GPT-5 实现系统II的慢思考? 4) Let’s work this out in a step by step way. 比 let’s think step by step. 效果好 5) 为什么prompt中给GPT设定专家角色或IQ 120高能力比不设定效果好?简单看为检索信息,GPT中有普通答案也有专家答案,你指定它为专家,它就找专家的答案给你 6) Retrieval-Augmented LLMs,检索增强大模型,即通过检索在Prompt的上下文Context中提供尽可能多的任务相关信息,那它的输出就会越好。

封面图片

资源我们与恶的距离 我们与恶的距离 (2019) 首播四周年 4K高码收藏版本

资源我们与恶的距离 我们与恶的距离 (2019) 首播四周年 4K高码收藏版本 资源简介:  「到底什么是好人,   什么是坏人,有标准答案吗? 」   这是由一场无差别杀人事件,延伸出的几个家庭间,不同立场、不同参与者的故事…….   ▪ 因孩子罹难濒临破碎的_受害者家庭   ▪ 儿子杀人于是避逃人群的_加害者家庭   ▪ 帮死刑犯辩护而受尽谴责的_法扶律师   ▪ 弟弟患病带给姐姐人生课题的_家庭   这是一个,可能发生在「我们」每个人身边的故事。当事件发生,我们会选择如何面对? 链接:【夸克网盘】点击获取 关键词:#剧情 #我们与恶的距离 频道:@yunpanpan 投稿:@zaihuaboxbot 资源搜索请在下方评论区即可

封面图片

台湾大学历史系教授周婉窈说,搞清楚白色恐怖时代的一个挑战是,历届政府继续对那个时期的许多文件保密。政府的担忧是,将这段历史公

台湾大学历史系教授周婉窈说,台湾搞清楚白色恐怖时代的一个挑战是,历届政府继续对那个时期的许多文件保密。政府的担忧是,将这段历史公开,可能给台湾社会制造难以弥合的分歧。 “转型正义,最重要是追求真相,罪责、参与者姓名明明都有了,但你选择遮掩,那还是没多大帮助。”

封面图片

OpenAI 官方推出的 Prompt 制作指南

OpenAI 官方推出的 Prompt 制作指南 一、 精细调整你的查询 1包含详细信息:在你的查询中加入具体信息,这样GPT能够给出更相关的回答。 2设置角色:告诉GPT扮演一个特定的角色,比如教授或编辑,这有助于获取专业化的回答。 3使用分隔符:通过使用例如三重反引号或XML标签等,来清晰标记输入的不同部分。 4明确步骤:对于复杂任务,把它分解成一系列清晰的步骤,这样GPT会更容易理解。 5提供示例:在合适的情况下,提供示例可以让GPT更清楚地了解你的需求。 6设置输出长度:告诉GPT你需要的回答长度,比如是一句话还是一段文字。 例1: -Prompt:“告诉我一个故事。” -优化后:请以一个童话作家的身份,告诉我一个以中世纪为背景、关于一位骑士和一条龙的冒险故事,你可以先给我讲这个故事的背景、再讲故事主人公的介绍、最后讲故事本身。以Markdown格式,不低于800字输出。 二、 使用参考资料 GPT可能会无意中编造信息,特别是在涉及复杂话题时。提供可信的参考资料,可以帮助GPT生成更准确和少错误的答案。 例2: -Prompt:“讲述拿破仑的历史。” -优化后:“根据史蒂芬·克拉克的书《拿破仑:人生、立场和遗产》,讲述拿破仑的历史。” 三、 将任务分解 处理复杂任务时,将其分解为更简单的子任务通常更有效。这样不仅可以降低错误率,还可以创建一个工作流,其中每个任务建立在前一个任务的结果上。 例3: Prompt:我想学习编程。 -优化后: 1哪些编程语言适合初学者? 2为学习Python,推荐一些在线课程。 3Python基础知识学习后,推荐一些进阶项目。 四、 让GPT“思考” 与人一样,GPT也需要时间来处理信息。通过引导GPT进行一系列的推理,而不是立即给出答案,可以帮助它更可靠地得出结论。 例4 -Prompt:“为什么天空是蓝色的?” -让GPT“思考”的查询:“当我们看天空时,我们通常看到蓝色。这是因为大气和光的相互作用。请从光的散射和大气的组成两个方面,解释为什么天空在大多数情况下呈现蓝色。” 五、 利用外部工具 结合其他工具的使用,可以提升GPT的能力。例如,当需要执行复杂数学计算时,可以使用专业工具而不是依赖GPT。 例 5:天气查询应用 如果你正在开发一个可以告诉用户当前天气的应用,你可能想要整合一个天气API来获得实时天气数据,而不是依靠GPT模型的预测能力。 六、 用测试确认改善 要提高性能,需要看到真实的数字。单独改一点可能在一两个例子里有效,但总体表现可能变差。所以,要用一系列的测试检查是否真的有所改善。 一个好办法是用“标准答案”来对比模型的输出:假如我们知道一个问题的完美答案应该有哪些内容,我们就可以检查模型回答里包含了多少必要的内容。 原文地址:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人