AI 新知：当GPT-4 遇上开放世界游戏， 智能代理到底有多强？

AI 新知：当GPT-4 遇上开放世界游戏， 智能代理到底有多强？ 尽管AI 智能代理在一个开放世界的成为超级玩家的内容不再是新闻了，然而在上周英伟达发布一系列重磅发布中， 这个被称为 Voyager 游戏智能代理，还是表现出非常令人惊叹的自主探索和学习能力。 这种智能代理是如何通过 GPT-4 一步步是实现的？ 为了让更多非专业人士，从原理层面感知这类技术（类似 AutoGPT）原理、应用层的可能，我和 Claude 100k 一起为大家尽可能深入浅出的进行解释和案例分析。 （ 对话全部内容， 核心问题只有一个，自主学习、编码、技能树的游戏 AI 是如何工作。 （如果你不熟悉《我的世界》这款游戏的玩家视角，我建议你先在官方网址 ，简单看一下多个GIF 级别的小视频， 有个感性认知。图 1，也可以直接移步官方网址 Voyager 是什么？ - 它是第一个玩Minecraft的终身学习的智能代理。Voyager 可以自己写代码、自我迭代、不断完善技能库中，实现可以终身学习的游戏探索过程（见图 2 ） - 它建立在GPT-4之上，并解锁了一个新的范式：「训练」在这个语境下是执行代码；「训练模型」是Voyager迭代组成的技能代码库，而不是浮点矩阵。 - Voyager 正在成为一个经验丰富的探索者，一个超级玩家。在《我的世界》中，它获得了3.3倍的独特物品，旅行了2.3倍的距离，解锁关键技术树里程碑的速度比之前的方法快15.3倍。 - 它是开源的。 Voyager 有 3 个关键组件：（见图3） 1. 结合游戏反馈、执行错误、验证来完善程序的迭代提示机制；（让 GPT-4 写代码 ） 2. 用于存储和检索复杂行为的技能代码库；（任务的自主完善和迭代） 3. 最大化探索的自动课程。 （开放的任务指导体系） 以下是我和Claude 100k的全文提问内容， 你可以作为「深度对话」和 GPT 们交流。 （如果你不是 Poe 的付费用户，也可以用 ChatPDF 之类的代替） Q1：我们讨论一篇重要的AI行业论文，我把正文输入给你， 当你阅读理解完成后， 请回复 OK。（请注意，复制全文有关对话记录省略了 ）

RT Jim FanWhat if we set GPT-4 free in Minecraft?

RT Jim Fan What if we set GPT-4 free in Minecraft? I’m excited to announce Voyager, the first lifelong learning agent that plays Minecraft purely in-context. Voyager continuously improves itself by writing, refining, committing, and retrieving *code* from a skill library. GPT-4 unlocks…

本视频介绍了 GPT-4 在不同领域的应用。

本视频介绍了 GPT-4 在不同领域的应用。 在第一部分中，Brockman 使用 GPT-4 检索 Open AI Blog 中以字母 Q 单词开头的信息。 第二部分展示了 GPT-4 在图像识别领域的能力。当有人在 Discord 中发了一张松鼠用相机拍食物的照片并询问其中的笑点时，GPT-4 反应灵敏，指出松鼠本应该吃食物而不是拍食物。 在第三部分中，Brockman 将冗长的税务信息输入 GPT-4，询问其应缴税款，GPT-4 迅速给出了精确答案。Brockman 还让 GPT-4 解释了这个答案的计算过程。 需要注意的是，由于 GPT-4 的数据是基于 GPT-3.5 预先训练的，因此在 2022 年更新后的一些代码无法正常运行。然而，Brockman 将错误信息输入 GPT-4，最终成功运行了代码。 via 标签: #GPT4 频道: @GodlyNews1 投稿: @GodlyNewsBot

让GPT-4帮人类训练GPT-4！OpenAI推出新模型CriticGPT

让GPT-4帮人类训练GPT-4！OpenAI推出新模型CriticGPT 美东时间6月27日周四，OpenAI公布，其研究人员训练了一个基于 GPT-4 的模型，它被称为 CriticGPT，用于捕捉ChatGPT 代码输出中的错误。简单来说就是，CriticGPT让人能用 GPT-4 查找 GPT-4 的错误。它可以写出使用者对ChatGPT响应结果的批评评论，从而帮助人类训练者在RLHF期间发现错误。OpenAI发现，如果通过CriticGPT获得帮助审查 ChatGPT编写的代码，人类训练师的审查效果比没有获得帮助的人强60%。OpenAI称，正着手将类似 CriticGPT 的模型集成到旗下 RLHF 标记管道中，为自己的训练师提供明确的AI帮助。OpenAI称，因为没有更好的工具，所以人们目前难以评估高级的AI系统的表现。而CriticGPT意味着，OpenAI向能够评估高级AI系统输出的目标迈进了一步。，OpenAI举了一个例子，如下图所示，对ChatGPT提出一个用 Python 编写指定函数的任务，对于ChatGPT根据要求提供的代码，CriticGPT点评了其中一条指令，提议换成效果更好的。OpenAI称，CriticGPT 的建议并不是全都正确无误，但OpenAI的人员发现，相比没有这种AI的帮助，有了它，训练师可以发现更多模型编写答案的问题。此外，当人们使用CriticGPT 时，这种AI模型会增强他们的技能，从而得出的批评结论比单单人类训练师做的更全面，并且比AI模型单独工作时产生的幻觉错误更少。在OpenAI的实验中，在60%以上的时间里，随机选择的训练师都更喜欢来自人类与CriticGPT 合作的批评结论，而不是来自没有CriticGPT协助的人类训练师批评。OpenAI同时提到了目前开发CriticGPT的四点局限。其中之一是，OpenAI用 ChatGPT 的简短答案训练CriticGPT，因此未来需要发掘能帮助训练师理解冗长且复杂任务的方法。第二点是，模型仍然会产生幻觉，有时训练师在看到这些幻觉后会犯下标记错误。第三点是，有时现实世界中的错误可能分散在答案的许多部分之中，OpenAI目前的工作重点是让模型指出一处的错误，未来还需要解决分散在不同位置的错误。第四点，OpenAI指出，CriticGPT 只能提供有限的帮助：如果ChatGPT面对的任务或响应极其复杂，即使是有模型帮助的专家也可能无法正确评估。最后，OpenAI表示，为了协调日益复杂的 AI 系统，人们需要更好的工具。在对 CriticGPT 的研究中，OpenAI发现，将 RLHF 应用于 GPT-4 有望帮助人类为 GPT-4 生成更好的 RLHF 数据。OpenAI计划，进一步扩大这项工作，并将其付诸实践。OpenAI在原名Twitter的社交媒体X上公布了新模型CriticGPT后，一条点赞超1万的网友评论称，自我改进已经开始了。另一条点赞上万的热截取了OpenAI的相关研究文章结论，其中提到，在智能方面，大语言模型（LLM）和LLM的批评都只会继续改进，而人类的智能不会，这条评论感叹，真是悲观。还有网友引用了漫威超级英雄电影《复仇者联盟》中灭霸的一句台词，点评OpenAI所说的用GPT-4找GPT-4的错误：“我用宝石摧毁了宝石。” ... PC版： 手机版：

Bloop一个基于 GPT-4 的开源代码搜索引擎

Bloop一个基于 GPT-4 的开源代码搜索引擎 bloop 是一个代码搜索引擎，它使用 GPT-4 来回答有关您的代码的问题。使用自然语言、正则表达式和过滤查询搜索本地和远程存储库。 #GPT4 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

OpenAI通过新更新治愈了GPT-4的"变懒"问题

OpenAI通过新更新治愈了GPT-4的"变懒"问题 最近，一些 ChatGPT 用户抱怨聊天机器人经常拒绝完成提示任务，并将原因归咎于 GPT-4 缺乏更新。不过，OpenAI 这次更新的是GPT-4 Turbo，它是更广泛使用的 GPT-4 的一个版本，是根据 2023 年 4 月的信息训练的，目前只有预览版。使用 GPT-4 的用户可能仍然会遇到同样的问题，因为 GPT-4 是根据 2021 年 9 月之前的数据进行学习的。OpenAI 在帖子中表示，在通过其 API 使用 GPT-4 的用户中，有超过 70% 的人已经转用 GPT-4 Turbo，因为它的知识库更新更快。该公司表示，GPT-4 Turbo 将在未来几个月内进行更多更新，包括全面推出带视觉功能的 GPT-4 Turbo。这将使用户能够进行更多的多模态提示，如文本到图像的生成。OpenAI 还推出了名为嵌入（embeddings）的小型人工智能模型。OpenAI 将 Embeddings 定义为"代表自然语言或代码等内容中概念的数字序列"。这可以帮助使用检索增强生成（一种从数据库中获取信息而不是生成答案的人工智能）的应用程序找出所访问的不同内容之间的关系。这些新型号（text-embedding-3-small 和功能更强大的 text-embedding-3-large）现已推出。 ... PC版： 手机版：