OpenAI 用 GPT-4 来解释 GPT-2 的行为

OpenAI用GPT-4来解释GPT-2的行为大语言模型（LLM）像大脑一样，它们是由“神经元”组成的，它们观察文本中的一些特定模式，以影响整个模型接下来“说”什么。但由于LLM中的参数数量多到已经无法由人类解释的程度，因此，LLM给人一种“黑盒”的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI正在开发一种工具，以自动识别LLM的哪些部分负责其哪些行为。它使用GPT-4来解释其4年前发布的只有30万个“神经元”（15亿个参数）的GPT-2。目前该工具代码和所有的“神经元”解释数据已经开源，OpenAI称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连GPT-4都不能太用人类可以理解的语言来解释GPT-2的行为。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

OpenAI最新“神”操作：让GPT-4去解释GPT-2的行为

OpenAI最新“神”操作：让GPT-4去解释GPT-2的行为即：让一个AI“黑盒”去解释另一个AI“黑盒”。工作量太大，决定让GPT-4去解释GPT-2OpenAI之所以做这项研究的原因，在于近来人们对AI伦理与治理的担忧：“语言模型的能力越来越强，部署也越来越广泛，但我们对其内部工作方式的理解仍然非常有限。”由于AI的“黑盒”性质，人们很难分辨大模型的输出结果是否采用了带有偏见性质的方法，也难以区分其正确性，因而“可解释性”是亟待重要的一个问题。AI的发展很大程度上是在模仿人类，因而大模型和人脑一样，也由神经元组成，它会观察文本规律进而影响到输出结果。所以想要研究AI的“可解释性”，理论上要先了解大模型的各个神经元在做什么。按理来说，这本应由人类手动检查，来弄清神经元所代表的数据特征——参数量少还算可行，可对于如今动辄百亿、千亿级参数的神经网络，这个工作量显然过于“离谱”了。于是，OpenAI灵机一动：或许，可以用“魔法”打败“魔法”？“我们用GPT-4为大型语言模型中的神经元行为自动编写解释，并为这些解释打分。”而GPT-4首次解释的对象是GPT-2，一个OpenAI发布于4年前、神经元数量超过30万个的开源大模型。让GPT-4“解释”GPT-2的原理具体来说，让GPT-4“解释”GPT-2的过程，整体分为三个步骤。（1）首先，让GPT-4生成解释，即给出一个GPT-2神经元，向GPT-4展示相关的文本序列和激活情况，产生一个对其行为的解释。如上图所示，GPT-4对GPT-2该神经元生成的解释为：与电影、人物和娱乐有关。（2）其次，再次使用GPT-4，模拟被解释的神经元会做什么。下图即GPT-4生成的模拟内容。（3）最后，比较GPT-4模拟神经元的结果与GPT-2真实神经元的结果，根据匹配程度对GPT-4的解释进行评分。在下图展示的示例中，GPT-4得分为0.34。通过这样的方法，OpenAI共让GPT-4解释了GPT-2中的307200个神经元，其中大多数解释的得分很低，只有超过1000个神经元的解释得分高于0.8。在官博中，OpenAI承认目前GPT-4生成的解释并不完美，尤其在解释比GPT-2规模更大的模型时，效果更是不佳：“可能是因为后面的layer更难解释。”尽管绝大多数解释的得分不高，但OpenAI认为，“即使GPT-4给出的解释比人类差，但也还有改进的余地”，未来通过ML技术可提高GPT-4的解释能力，并提出了三种提高解释得分的方法：对解释进行迭代，通过让GPT-4想出可能的反例，根据其激活情况修改解释来提高分数。使用更大的模型来进行解释，平均得分也会上升。调整被解释模型的结构，用不同的激活函数训练模型。值得一提的是，以上这些解释数据集、可视化工具以及代码，OpenAI都已在GitHub上开源发布：“我们希望研究界能开发出新技术以生成更高分的解释，以及更好的工具来使用解释探索GPT-2。”（GitHub地址：https://github.com/openai/automated-interpretability）“再搞下去，AI真的要觉醒了”除此之外，OpenAI还提到了目前他们采取的方法有很多局限性，未来需要一一攻克：GPT-4给出的解释总是很简短，但神经元可能有着非常复杂的行为，不能简洁描述。当前的方法只解释了神经元的行为，并没有涉及下游影响，希望最终能自动化找到并解释能实现复杂行为的整个神经回路。只解释了神经元的行为，并没有解释产生这种行为的背后机制。整个过程都是相当密集的计算，算力消耗很大。在博文的最后，OpenAI展望道：“我们希望将我们最大的模型解释为一种在部署前后检测对齐和安全问题的方式。然而，在这些技术能够揭露不诚实等行为之前，我们还有很长的路要走。”对于OpenAI的这个研究成果，今日在国内外各大技术平台也引起了广泛关注。有人在意其得分不佳：“对GPT-2的解释都不行，就更不知道GPT-3和GPT-4内部发生了什么，但这才是许多人更关注的答案。”有人感慨AI进化的方式愈发先进：“未来就是用AI完善AI模型，会加速进化。”也有人担心AI进化的未来：“再搞下去，AI真的要觉醒了。”那么对此，你又有什么看法呢？...PC版：https://www.cnbeta.com.tw/articles/soft/1359101.htm手机版：https://m.cnbeta.com.tw/view/1359101.htm

新版 ChatGPT 可同时访问所有 GPT-4 工具

新版ChatGPT可同时访问所有GPT-4工具OpenAI计划推出一种使用多模式GPT-4的新方法，无需切换即可访问所有工具，并提供更多文档分析功能。许多ChatGPTPlus用户在X上分享的截图显示了PDF和文档分析的新功能以及"所有工具"功能。所有工具"可让用户访问GPT-4的所有功能，而无需在不同功能之间切换。此举被誉为一次重大飞跃，它超越了基于文本的查询，推动了生成式人工智能功能的发展。现在，用户可以上传一张图片，让DALL-E3做出回应，为他们的工作流程增添了新的维度。随着越来越多的用户开始使用新的多模态功能，更多关于如何将所有GPT-4工具结合在一起使用的例子也将出现。有趣的是，GPT-4的所有工具功能似乎并不包括ChatGPT插件。一些新功能可能会使许多第三方ChatGPT插件过时。这可能是为了简化用户体验而精心策划的举动，同时也是对以往提供类似功能的第三方插件的一种限制。在系统中直接分析PDF和其他文件的功能有效地消除了对第三方ChatGPT插件的需求，而这些插件一直以来都在填补这些空白。通过在最新版本的ChatGPT中整合这些功能，OpenAI回应了用户的反馈意见，创建了一个不依赖外部功能的更强大的工具。除了用户可以访问GPT-4AllTools之外，其他人也注意到了更近的知识截止日期。最新消息发布于OpenAI下周的DevDay大会之前，预计该公司将在会上与开发者探讨新工具。...PC版：https://www.cnbeta.com.tw/articles/soft/1393089.htm手机版：https://m.cnbeta.com.tw/view/1393089.htm

GPT-4 全线驱动微软生产力工具

GPT-4全线驱动微软生产力工具Microsoft365Copilot将AI(GPT-4等)的力量与MicrosoftGraph中的数据(您的日历、电子邮件、聊天、文档、会议等)以及Microsoft365应用程序相结合，使您的文字变成地球上最强大的生产力工具。普通人只使用Microsoft365中数千个可用的命令——例如“动画幻灯片”或“插入表格”。现在，所有丰富的功能都仅使用自然语言解锁。而这只是个开始…WordCopilot可以编写、编辑、总结和创建文档。PowerPointCopilot可以根据自然语言生成并编辑PPT。ExcelCopilot可以在几秒内分析趋势并创建专业的数据可视化。OutlookCopilot可以总结邮件、起草邮件，帮你分类整理收件箱。TeamsCopilot可以实时摘要会议内容，并在会议期间提供实时建议。GitHubCopilot的开发人员中，88%的人表示他们的代码工作效率更高。BusinessChat结合个人数据和365应用程序可以直接执行自然语言提示，如“告诉我的团队我们如何更新产品策略”，它将根据上午的会议、邮件和聊天线程生成状态更新。投稿：@ZaiHuabot频道：@TestFlightCN

逆天“魔法”正式解禁 GPT-4以来最强应用“代码解释器”上线

逆天“魔法”正式解禁GPT-4以来最强应用“代码解释器”上线代码解析器可令ChatGPT运行代码，并且可以访问用户上传的文件，实现分析数据、创建图表、编辑文件、执行数学运算等复杂操作。如何开启？打开ChatGPT页面，点击右下角Settings，然后在Betafeatures中打开Codeinterpreter的开关。然后在GPT-4模型TAB下选择即可。启用代码解释器后，可以点击输入框左侧+号上传文件。以下是一些网友的试用实例：图片处理OpenAI联合创始人GregBrockman在Twitter上展示了代码解释器强大的数学运算和制图能力。输入prompt：你能在平面上绘制出10000个随机点，每个维度都来自正态分布吗？生成一个展示OpenAI官网的二维码。自动抠图。不需要任何软件，不需要用鼠标费力画圈，只要一行prompt就可以自动抠图！格式转换PDF转图片以往需要将每页内容合并成一张图，而现在，一个prompt就搞定了。CSV转GIFGIF转MP4Scaleai的提示词工程师RileyGoodside发推测试了代码解释器的格式转化能力。prompt：我会上传一个gif，给我生成一段5秒的MP4视频，用缓慢缩放特效处理。GPT-4完美完成了这个任务。创建调色板只需要简单的prompt，就可以从图像中提取颜色，创建一个简单的PNG调色板。数据分析Twitter用户@归藏展示了用代码解析器分析newsletter订阅用户数据的过程。首先是用户的订阅渠道。然后是用户的邮箱类型。更进一步，还可以分析最近一个月订阅用户增长的趋势。可以看到，代码解析器从分析数据到制图，都不需要使用任何复杂软件，只需要prompt就可以完成。除此之外，代码解析器还可以分析一个播放列表来总结你的音乐品味。下图是一位网友试用代码解析器分析了自己600小时的Spotify播放清单。ChatGPT最后通过运行多维PCA和t-SNE分析，梳理了她最常听的曲风。只要有数据，什么都可以分析。一位网友甚至用代码解释器生成了一个UFO目击地图。处理金融数据，它也不在话下。比如比特币价格走势平均每月收盘价CodeInterpreter断了多少人的生路试用之后，许多网友感慨，代码解释器的确是OpenAIGPT-4上线以来最强大的功能，不知道一夜之间又要颠覆多少打工人的岗位。一位网友展示了代码解释器批量处理电影文件的能力之后直呼，“CodeInterpreter断了多少人的生路？”...PC版：https://www.cnbeta.com.tw/articles/soft/1369867.htm手机版：https://m.cnbeta.com.tw/view/1369867.htm