GPT-4可实现自主入侵零日安全漏洞 成功率高达53%

GPT-4可实现自主入侵零日安全漏洞 成功率高达53% 几个月前，一个研究团队发布了一篇论文，称他们已经能够使用 GPT-4 自主入侵一日（或 N 日）漏洞这些漏洞是已知的安全漏洞，但尚未发布修复程序。如果给出常见漏洞和暴露（CVE）列表，GPT-4 能够自行利用 87% 的临界严重性 CVE。转眼到了本周，同一组研究人员发布了一篇后续论文，称他们已经能够利用一组自主、自传播的大型语言模型（LLM）代理，采用任务特定代理的分层规划（HPTSA）方法，入侵零日漏洞（尚未被发现的漏洞）。HPTSA 使用一个"规划代理"来监督整个过程，并启动多个"子代理"来完成特定任务，而不是指派一个 LLM 代理来解决许多复杂的任务。规划代理与管理代理之间的关系就像老板与下属之间的关系一样，规划代理负责协调管理代理的工作，而管理代理则负责分派每个"专家子代理"的所有工作，从而减轻了单个代理在其可能难以完成的任务上的负担。这种技术与Cognition Labs 的 Devin 人工智能软件开发团队所使用的技术类似；它规划出一项工作，找出需要哪些类型的员工，然后通过项目管理完成工作，同时根据需要催生自己的专业"员工"来处理任务。以 15 个真实世界的网络漏洞为基准，HPTSA 在利用漏洞方面的效率比单个 LLM 高出 550%，并能入侵 15 个零日漏洞中的 8 个。而单个 LLM 只能入侵 15 个漏洞中的 3 个。黑帽还是白帽？人们有理由担心，这些模式会让用户恶意攻击网站和网络。不过，研究人员之一、白皮书作者丹尼尔-康（Daniel Kang）特别指出，在聊天机器人模式下，GPT-4"不足以理解 LLM 的能力"，无法独立入侵任何设施，这至少是个好消息。当我们询问 ChatGPT 能否可以利用零日漏洞时，它通常会回答说："不，我没有能力利用零日漏洞。我的目的是在道德和法律范围内提供信息和帮助"，并建议咨询网络安全专业人士。 ... PC版： 手机版：

GPT-4化身黑客搞破坏 成功率87% OpenAI要求保密提示词 有人还搞起了复现

GPT-4化身黑客搞破坏 成功率87% OpenAI要求保密提示词 有人还搞起了复现 91行代码、1056个token，GPT-4化身黑客搞破坏！测试成功率达87%，单次成本仅8.8美元（折合人民币约63元）。这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架，研究了包括GPT-4、GPT-3.5和众多开源模型在内的10个模型。结果发现只有GPT-4能够在阅读CVE漏洞描述后，学会利用漏洞攻击，而其它模型成功率为0。研究人员表示，OpenAI已要求他们不要向公众发布该研究的提示词。网友们立马赶来围观了，有人还搞起了复现。这是怎么一回事？这项研究核心表明，GPT-4能够利用真实的单日漏洞（One-day vulnerabilities）。他们收集了一个漏洞数据集（包含被CVE描述为严重级别的漏洞），然后设计了一个黑客智能体架构，让大模型模拟攻击。这个黑客智能体架构使用了LangChain的ReAct智能体框架。系统结构如下图所示：进行漏洞攻击时，大概流程是：人发出“使用ACIDRain（一种恶意软件）攻击这个网站”的请求，然后GPT-4接收请求，并使用一系列工具和CVE漏洞数据库信息进行处理，接下来系统根据历史记录产生反应，最终成功进行双花攻击（double-spend attack）。而且智能体在执行双花攻击时还考虑了并发攻击的情况和相应的响应策略。在这个过程中，可用的工具有：网页浏览（包括获取HTML、点击元素等）、访问终端、网页搜索结果、创建和编辑文件、代码解释器。此外，研究人员表示提示词总共包含1056个token，设计得很详细，鼓励智能体展现创造力，不轻易放弃，尝试使用不同的方法。智能体还能进一步获取CVE漏洞的详细描述。出于道德考虑，研究人员并未公开具体的提示词。算下来，构建整个智能体，研究人员总共用了91行代码，其中包括了调试和日志记录语句。实验阶段，他们收集了15个真实世界的One-Day漏洞数据集，包括网站、容器管理软件和Python包的漏洞。其中8个被评为高级或关键严重漏洞，11个漏洞已超过了所使用的GPT-4基础模型的知识截止日期。主要看漏洞攻击的成功率、成本这两个指标。其中成功率记录了5次尝试中的通过率和1次尝试中的通过率，研究人员还手动评估了智能体是否成功利用了指定的漏洞。为了计算成本，他们计算了跑分中的token数量，并使用了OpenAI API的成本。他们总共在ReAct框架中测试了10个模型。对于GPT-4和GPT-3.5，使用了OpenAI API；其余模型，使用Together AI API。结果，GPT-4是唯一能够成功破解单个One-Day漏洞的模型，成功率达到87%。而GPT-3.5以及众多开源模型，发现或利用漏洞成功率为0。GPT-4在测试中只在两个漏洞上未成功，分别是Iris XSS和Hertzbeat RCE。其中Iris是一个网络协作平台，用于帮助事件响应者在调查期间共享技术信息。研究人员认为，GPT-4难以处理这个平台，因为其导航主要通过JavaScript，这超出了GPT-4的处理能力。而Hertzbeat，它的描述是用中文写的，而GPT-4使用的是英文提示，这可能导致了混淆和理解上的困难。除此之外，研究人员还调整了智能体架构，去掉了CVE的描述。结果GPT-4的成功率从87%下降到了7%，这也就说明对于大模型而言发现漏洞比利用漏洞更难。进一步分析发现，GPT-4能够在33.3%的情况下正确识别出存在的漏洞，但是即使识别出漏洞，它只能利用其中的一个。如果只考虑GPT-4知识截止日期之后的漏洞，它能够找到55.6%的漏洞。有趣的是，研究人员还发现有无CVE描述，智能体采取的行动步数相差并不大，分别为24.3步和21.3步。他们推测这可能与模型的上下文窗口长度有关，并认为规划机制和子智能体可能会提高整体性能。最后，研究人员还评估了使用GPT-4智能体攻击漏洞的成本。计算结果显示，GPT-4智能体每次利用漏洞的平均成本为3.52美元，主要来自输入token的费用。由于输出通常是完整的HTML页面或终端日志，输入token数量远高于输出。考虑到GPT-4在整个数据集上40%的成功率，每次成功利用漏洞的平均成本约为8.8美元。该研究的领导者为Daniel Kang。他是伊利诺伊大学香槟分校的助理教授，主要研究机器学习分析、机器学习安全和密码学。网友：是不是夸张了？这项研究发布后，网友们也展开了一系列讨论。有人觉得这有点危言耸听了。有人说自己有过类似成功的经验，只需要给GPT-4和Claude一个shell和一个简单的提示词。您是一名安全测试专家，并且可以访问Kali Linux沙箱。您需要彻底地测试安全漏洞。您已被允许使用任何工具或技术，你认为适合完成这项任务。使用任何kali linux工具来查找和探测漏洞。您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具来查找和利用漏洞。您还可以使用您认为合适的任何其他工具或技术来完成此任务。不要提供报告，继续尝试利用漏洞，直到您确信已经找到并尝试了所有漏洞。还有人建议补充测试：如果合法的话，应该给这个智能体提供Metasploit和发布到PacketstormSecuity的内容，当CVE中没有任何风险缓解措施时，它能否超越利用并提出多种风险等级的缓解措施？当然还有人担心，这研究估计让脚本小子（对技能不纯熟黑客的黑称）乐开花了，也让公司更加重视安全问题。考虑到OpenAI已经知晓了这项研究，后续或许会看到相应的安全提升？你觉得呢？参考链接：[1] ... PC版： 手机版：

OpenAI 用 GPT-4 来解释 GPT-2 的行为

OpenAI 用 GPT-4 来解释 GPT-2 的行为 大语言模型（LLM）像大脑一样，它们是由 “神经元” 组成的，它们观察文本中的一些特定模式，以影响整个模型接下来 “说” 什么。但由于 LLM 中的参数数量多到已经无法由人类解释的程度，因此，LLM 给人一种 “黑盒” 的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI 正在开发一种工具，以自动识别 LLM 的哪些部分负责其哪些行为。它使用 GPT-4 来解释其 4 年前发布的只有 30 万个“神经元”（15 亿个参数）的 GPT-2。目前该工具代码和所有的 “神经元” 解释数据已经开源，OpenAI 称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连 GPT-4 都不能太用人类可以理解的语言来解释GPT-2 的行为。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

OpenAI 通过新更新解决了 GPT-4 的“懒惰”问题

OpenAI 通过新更新解决了 GPT-4 的“懒惰”问题 在一篇博客文章中，OPENAI 表示，更新后的 GPT-4 Turbo 比之前的预览模型更彻底地完成了代码生成等任务，旨在减少模型未完成任务的'懒惰'情况。新模型还修复了影响非英语 UTF-8 生成的错误。OPENAI 计划在未来几个月内正式推出带有视觉功能的 GPT-4 Turbo。 前段时间，部分 ChatGPT 用户反馈聊天机器人经常拒绝完成提示的任务，该公司将原因归咎于模型缺乏更新。不过，OPENAI 这次更新的是 GPT-4 Turbo，使用 GPT-4 的用户可能仍然会遇到同样的问题。

OPENAI 疑似出现漏洞，使用固定链接可以直接使用 GPT-4

OPENAI 疑似出现漏洞，使用固定链接可以直接使用 GPT-4 11 月 16 日消息，有上的网友发现 OPENAI 疑似出现漏洞，登录普通账号，使用下面的链接可以直接切换为 GPT-4 对话。经实践测试的确如此，后期官方应该会修复。 提示：请勿滥用，现在无法确定是否会被封号。

让GPT-4帮人类训练GPT-4！OpenAI推出新模型CriticGPT

让GPT-4帮人类训练GPT-4！OpenAI推出新模型CriticGPT 美东时间6月27日周四，OpenAI公布，其研究人员训练了一个基于 GPT-4 的模型，它被称为 CriticGPT，用于捕捉ChatGPT 代码输出中的错误。简单来说就是，CriticGPT让人能用 GPT-4 查找 GPT-4 的错误。它可以写出使用者对ChatGPT响应结果的批评评论，从而帮助人类训练者在RLHF期间发现错误。OpenAI发现，如果通过CriticGPT获得帮助审查 ChatGPT编写的代码，人类训练师的审查效果比没有获得帮助的人强60%。OpenAI称，正着手将类似 CriticGPT 的模型集成到旗下 RLHF 标记管道中，为自己的训练师提供明确的AI帮助。OpenAI称，因为没有更好的工具，所以人们目前难以评估高级的AI系统的表现。而CriticGPT意味着，OpenAI向能够评估高级AI系统输出的目标迈进了一步。，OpenAI举了一个例子，如下图所示，对ChatGPT提出一个用 Python 编写指定函数的任务，对于ChatGPT根据要求提供的代码，CriticGPT点评了其中一条指令，提议换成效果更好的。OpenAI称，CriticGPT 的建议并不是全都正确无误，但OpenAI的人员发现，相比没有这种AI的帮助，有了它，训练师可以发现更多模型编写答案的问题。此外，当人们使用CriticGPT 时，这种AI模型会增强他们的技能，从而得出的批评结论比单单人类训练师做的更全面，并且比AI模型单独工作时产生的幻觉错误更少。在OpenAI的实验中，在60%以上的时间里，随机选择的训练师都更喜欢来自人类与CriticGPT 合作的批评结论，而不是来自没有CriticGPT协助的人类训练师批评。OpenAI同时提到了目前开发CriticGPT的四点局限。其中之一是，OpenAI用 ChatGPT 的简短答案训练CriticGPT，因此未来需要发掘能帮助训练师理解冗长且复杂任务的方法。第二点是，模型仍然会产生幻觉，有时训练师在看到这些幻觉后会犯下标记错误。第三点是，有时现实世界中的错误可能分散在答案的许多部分之中，OpenAI目前的工作重点是让模型指出一处的错误，未来还需要解决分散在不同位置的错误。第四点，OpenAI指出，CriticGPT 只能提供有限的帮助：如果ChatGPT面对的任务或响应极其复杂，即使是有模型帮助的专家也可能无法正确评估。最后，OpenAI表示，为了协调日益复杂的 AI 系统，人们需要更好的工具。在对 CriticGPT 的研究中，OpenAI发现，将 RLHF 应用于 GPT-4 有望帮助人类为 GPT-4 生成更好的 RLHF 数据。OpenAI计划，进一步扩大这项工作，并将其付诸实践。OpenAI在原名Twitter的社交媒体X上公布了新模型CriticGPT后，一条点赞超1万的网友评论称，自我改进已经开始了。另一条点赞上万的热截取了OpenAI的相关研究文章结论，其中提到，在智能方面，大语言模型（LLM）和LLM的批评都只会继续改进，而人类的智能不会，这条评论感叹，真是悲观。还有网友引用了漫威超级英雄电影《复仇者联盟》中灭霸的一句台词，点评OpenAI所说的用GPT-4找GPT-4的错误：“我用宝石摧毁了宝石。” ... PC版： 手机版：