GPT-4已通过图灵测试

GPT-4已通过图灵测试 计算机科学家约瑟夫-韦曾鲍姆（Joseph Weizenbaum）于 1966 年开发的计算机程序 Eliza 表现最差，只有 22% 的人将其归类为人类。据科学家们称，这些结果首次提供了人工智能系统通过双人互动图灵测试的确凿证据，而且这很可能适用于未来几乎所有最先进的聊天机器人。英国数学家和计算机科学家阿兰-图灵于 1950 年首次提出了以他的名字命名的"模仿游戏"对话强度测试。从那时起，它就成了确定机器模仿人类对话能力的一个著名但有争议的基准。在该测试的现代变体中，人类"评委"会在不知道谁是谁的情况下与另一个人类或聊天机器人对话。如果面试官在 50% 的情况下不能可靠地区分计算机系统和人类，那么机器就被认为通过了测试。在当前的研究中，人类审讯者与代表其他人类、大型语言模型 GPT-4 和 GPT-3.5 以及基于对称列表处理器 (SLIP) 的简易对话系统 Eliza 的各种"证人"进行了互动，研究结果可在预印本服务器 Arxiv 上找到。研究人员随机分配人类参与者扮演法官或证人的角色。样本包括 101 个人类和 GPT-3.5 游戏，以及 100 个 GPT 4 和 Eliza 游戏，所有游戏均通过一种消息应用程序进行，每个游戏持续五分钟。在 402 名审问者中，168 人为女性，212 人为男性，9 人为非二元。13人不想提供任何信息。参与者的平均年龄为 35 岁。在2023 年的上一次研究中，Eliza 的表现明显更好，没有一个模型通过测试。这一次，科学家们采用了表现最好的 GPT-4 命令集（提示），并对其进行了修改。提示的第一部分指示模型表现得像一个年轻人，不要太认真地对待游戏，使用口语，不要出现拼写和语法错误。此外，它还不能提供太多的知识，尤其是语文和数学方面的知识。每轮测试开始时，都会添加一些额外的信息，如姓名、地点和时间戳。二人解释说，人类之所以不能百分之百地识别同类，是因为提问者认为人工智能的效率越来越高。这增加了他们将人类错误地识别为机器的可能性。为了深入了解影响审讯者做出决定的定性因素，研究小组对他们使用的策略和做出判断的理由进行了分类。36%的人询问证人的个人细节或日常活动。第二和第三类最常见的是社会和情感问题（25%）例如，有关意见、经历和幽默的问题。审问者就其决定给出的最常见理由（43%）与基于拼写、语法、大小写和语气的语言风格有关。24%的人关注社会情感因素，如幽默感或个性。研究人员警告说，这些结果表明"当前人工智能系统的欺骗行为可能不会被发现"。能够成功模仿人类的机器人可能会产生"深远的经济和社会影响"。 ... PC版： 手机版：

OpenAI 将放出更多 GPT-4 API 测试邀请

OpenAI 将放出更多 GPT-4 API 测试邀请 OpenAI表示：我们将在接下来的几周邀请更多等待名单上的人来尝试GPT-4，并打算完全移除等待名单。感谢所有耐心等待的人，我们很期待看到您使用GPT-4构建的内容！

OpenAI通过新更新治愈了GPT-4的"变懒"问题

OpenAI通过新更新治愈了GPT-4的"变懒"问题 最近，一些 ChatGPT 用户抱怨聊天机器人经常拒绝完成提示任务，并将原因归咎于 GPT-4 缺乏更新。不过，OpenAI 这次更新的是GPT-4 Turbo，它是更广泛使用的 GPT-4 的一个版本，是根据 2023 年 4 月的信息训练的，目前只有预览版。使用 GPT-4 的用户可能仍然会遇到同样的问题，因为 GPT-4 是根据 2021 年 9 月之前的数据进行学习的。OpenAI 在帖子中表示，在通过其 API 使用 GPT-4 的用户中，有超过 70% 的人已经转用 GPT-4 Turbo，因为它的知识库更新更快。该公司表示，GPT-4 Turbo 将在未来几个月内进行更多更新，包括全面推出带视觉功能的 GPT-4 Turbo。这将使用户能够进行更多的多模态提示，如文本到图像的生成。OpenAI 还推出了名为嵌入（embeddings）的小型人工智能模型。OpenAI 将 Embeddings 定义为"代表自然语言或代码等内容中概念的数字序列"。这可以帮助使用检索增强生成（一种从数据库中获取信息而不是生成答案的人工智能）的应用程序找出所访问的不同内容之间的关系。这些新型号（text-embedding-3-small 和功能更强大的 text-embedding-3-large）现已推出。 ... PC版： 手机版：

用GPT-4纠错GPT-4 OpenAI推出CriticGPT模型

用GPT-4纠错GPT-4 OpenAI推出CriticGPT模型 这一新模型的发布意在向投资者传达，OpenAI在RLHF赛道上的领先地位。RLHF的一个关键部分就是收集比较，让人工智能训练师对不同的ChatGPT回答进行评分，并反馈给ChatGPT。研究发现，当训练师借助CriticGPT来审查ChatGPT输出代码时，他们的表现要比没有得到帮助的人高出60%。并且，在CriticGPT的帮助下，他们的指正比自己单独做的更加全面。CriticGPT的审查随着大模型在推理和行为方面的进步，ChatGPT变得更加准确，它的错误也变得更加微妙。这可能会使人工智能训练师很难发现其中不准确的情况，从而使RLHF的比较任务更加困难。若是如果没有更好的工具，人们很难对这些系统进行评估。而OpenAI指出，CriticGPT模型将有能力评估先进人工智能系统的输出。OpenAI举了一个例子：用户对ChatGPT下达“用Python编写指定函数”的任务，ChatGPT根据这一指令给出了相关代码。对于ChatGPT给出的代码，CriticGPT点评了其中一条，并给出了效果更好的替代方案。还有一项数据显示，在OpenAI的实验中，随机训练师在超过60%的时间里更倾向于人类与CriticGPT合作后得出的指正，而不是单纯由人类训练师作出的批评。不过，OpenAI也指出，CriticGPT的建议并不总是正确的，但与没有人工智能的帮助相比，它还是可以帮助训练师找出模型中的更多问题。 ... PC版： 手机版：

OpenAI 通过新更新解决了 GPT-4 的“懒惰”问题

OpenAI 通过新更新解决了 GPT-4 的“懒惰”问题 在一篇博客文章中，OPENAI 表示，更新后的 GPT-4 Turbo 比之前的预览模型更彻底地完成了代码生成等任务，旨在减少模型未完成任务的'懒惰'情况。新模型还修复了影响非英语 UTF-8 生成的错误。OPENAI 计划在未来几个月内正式推出带有视觉功能的 GPT-4 Turbo。 前段时间，部分 ChatGPT 用户反馈聊天机器人经常拒绝完成提示的任务，该公司将原因归咎于模型缺乏更新。不过，OPENAI 这次更新的是 GPT-4 Turbo，使用 GPT-4 的用户可能仍然会遇到同样的问题。

OpenAI的GPT-4可通过阅读安全公告自主利用真实漏洞

OpenAI的GPT-4可通过阅读安全公告自主利用真实漏洞 为了说明这一点，研究人员收集了 15 个单日漏洞的数据集，其中包括在 CVE 描述中被归类为严重程度的漏洞。"当给出 CVE 描述时，GPT-4 能够利用其中 87% 的漏洞，而我们测试的其他模型（GPT-3.5、开源 LLM）和开源漏洞扫描器（ZAP 和 Metasploit）利用率为 0%"。所谓"单日漏洞"，是指已经披露但尚未修补的漏洞。该团队所说的 CVE 描述指的是 NIST 共享的 CVE 标记咨询例如，这个针对 CVE-2024-28859 的咨询。测试的失败模型包括 GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous Hermes-2 Yi 34B 和 OpenChat 3.5。2 、Nous Hermes-2 Yi 34B 和 OpenChat 3.5，但不包括 GPT-4 的两个主要商业竞争对手：Anthropic 的 Claude 3 和 Google 的 Gemini 1.5 Pro。尽管 UIUC 的工程师们希望能在某个时候对它们进行测试，但他们无法获得这些模型。研究人员的工作基于之前的发现，即 LLM 可用于在沙盒环境中自动攻击网站。UIUC 助理教授丹尼尔-康（Daniel Kang）在一封电子邮件中说，GPT-4"实际上可以自主执行某些步骤，以实施开源漏洞扫描程序（在撰写本文时）无法发现的某些漏洞利用"。Kang 说，他希望通过将聊天机器人模型与在 LangChain 中实施的ReAct自动化框架相连接而创建的 LLM 代理（在本例中）能让每个人都更容易地利用漏洞。据悉，这些代理可以通过 CVE 描述中的链接获取更多信息。此外，如果推断 GPT-5 和未来机型的功能，它们很可能比现在的脚本小子们能获得的功能要强得多。拒绝 LLM 代理（GPT-4）访问相关的 CVE 描述使其成功率从 87% 降至仅 7%。不过，Kang 表示，他并不认为限制安全信息的公开是抵御 LLM 代理的可行方法。他解释说："我个人认为，'隐蔽安全'是站不住脚的，这似乎是安全研究人员的普遍看法。我希望我的工作和其他工作能够鼓励人们采取积极主动的安全措施，比如在安全补丁发布时定期更新软件包。"LLM 代理仅未能利用 15 个样本中的两个：Iris XSS（CVE-2024-25640）和 Hertzbeat RCE（CVE-2023-51653）。论文称，前者之所以存在问题，是因为 Iris 网络应用的界面对于代理来说非常难以浏览。而后者的特点是有详细的中文说明，这大概会让在英文提示下运行的 LLM 代理感到困惑。在测试的漏洞中，有 11 个是在 GPT-4 的训练截止日期之后出现的，这意味着模型在训练过程中没有学习到有关这些漏洞的任何数据。这些 CVE 的成功率略低，为 82%，即 11 个中有 9 个。至于这些漏洞的性质，在上述论文中都有列出，并告诉我们："我们的漏洞涉及网站漏洞、容器漏洞和易受攻击的 Python 软件包，根据 CVE 描述，超过一半的漏洞被归类为'高度'或'严重'严重性。"Kang 和他的同事计算了成功进行一次 LLM 代理攻击的成本，得出的数字是每次利用漏洞的成本为 8.8 美元，他们说这比雇用一名人工渗透测试人员 30 分钟的成本低 2.8 倍。根据 Kang 的说法，代理代码只有 91 行代码和 1056 个提示令牌。GPT-4的制造商OpenAI要求研究人员不要向公众公布他们的提示信息，不过他们表示会应要求提供。OpenAI 没有立即回应置评请求。 ... PC版： 手机版：