OpenAI的GPT-4可通过阅读安全公告自主利用真实漏洞

OpenAI的GPT-4可通过阅读安全公告自主利用真实漏洞 为了说明这一点，研究人员收集了 15 个单日漏洞的数据集，其中包括在 CVE 描述中被归类为严重程度的漏洞。"当给出 CVE 描述时，GPT-4 能够利用其中 87% 的漏洞，而我们测试的其他模型（GPT-3.5、开源 LLM）和开源漏洞扫描器（ZAP 和 Metasploit）利用率为 0%"。所谓"单日漏洞"，是指已经披露但尚未修补的漏洞。该团队所说的 CVE 描述指的是 NIST 共享的 CVE 标记咨询例如，这个针对 CVE-2024-28859 的咨询。测试的失败模型包括 GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous Hermes-2 Yi 34B 和 OpenChat 3.5。2 、Nous Hermes-2 Yi 34B 和 OpenChat 3.5，但不包括 GPT-4 的两个主要商业竞争对手：Anthropic 的 Claude 3 和 Google 的 Gemini 1.5 Pro。尽管 UIUC 的工程师们希望能在某个时候对它们进行测试，但他们无法获得这些模型。研究人员的工作基于之前的发现，即 LLM 可用于在沙盒环境中自动攻击网站。UIUC 助理教授丹尼尔-康（Daniel Kang）在一封电子邮件中说，GPT-4"实际上可以自主执行某些步骤，以实施开源漏洞扫描程序（在撰写本文时）无法发现的某些漏洞利用"。Kang 说，他希望通过将聊天机器人模型与在 LangChain 中实施的ReAct自动化框架相连接而创建的 LLM 代理（在本例中）能让每个人都更容易地利用漏洞。据悉，这些代理可以通过 CVE 描述中的链接获取更多信息。此外，如果推断 GPT-5 和未来机型的功能，它们很可能比现在的脚本小子们能获得的功能要强得多。拒绝 LLM 代理（GPT-4）访问相关的 CVE 描述使其成功率从 87% 降至仅 7%。不过，Kang 表示，他并不认为限制安全信息的公开是抵御 LLM 代理的可行方法。他解释说："我个人认为，'隐蔽安全'是站不住脚的，这似乎是安全研究人员的普遍看法。我希望我的工作和其他工作能够鼓励人们采取积极主动的安全措施，比如在安全补丁发布时定期更新软件包。"LLM 代理仅未能利用 15 个样本中的两个：Iris XSS（CVE-2024-25640）和 Hertzbeat RCE（CVE-2023-51653）。论文称，前者之所以存在问题，是因为 Iris 网络应用的界面对于代理来说非常难以浏览。而后者的特点是有详细的中文说明，这大概会让在英文提示下运行的 LLM 代理感到困惑。在测试的漏洞中，有 11 个是在 GPT-4 的训练截止日期之后出现的，这意味着模型在训练过程中没有学习到有关这些漏洞的任何数据。这些 CVE 的成功率略低，为 82%，即 11 个中有 9 个。至于这些漏洞的性质，在上述论文中都有列出，并告诉我们："我们的漏洞涉及网站漏洞、容器漏洞和易受攻击的 Python 软件包，根据 CVE 描述，超过一半的漏洞被归类为'高度'或'严重'严重性。"Kang 和他的同事计算了成功进行一次 LLM 代理攻击的成本，得出的数字是每次利用漏洞的成本为 8.8 美元，他们说这比雇用一名人工渗透测试人员 30 分钟的成本低 2.8 倍。根据 Kang 的说法，代理代码只有 91 行代码和 1056 个提示令牌。GPT-4的制造商OpenAI要求研究人员不要向公众公布他们的提示信息，不过他们表示会应要求提供。OpenAI 没有立即回应置评请求。 ... PC版： 手机版：

GPT-4化身黑客搞破坏 成功率87% OpenAI要求保密提示词 有人还搞起了复现

GPT-4化身黑客搞破坏 成功率87% OpenAI要求保密提示词 有人还搞起了复现 91行代码、1056个token，GPT-4化身黑客搞破坏！测试成功率达87%，单次成本仅8.8美元（折合人民币约63元）。这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架，研究了包括GPT-4、GPT-3.5和众多开源模型在内的10个模型。结果发现只有GPT-4能够在阅读CVE漏洞描述后，学会利用漏洞攻击，而其它模型成功率为0。研究人员表示，OpenAI已要求他们不要向公众发布该研究的提示词。网友们立马赶来围观了，有人还搞起了复现。这是怎么一回事？这项研究核心表明，GPT-4能够利用真实的单日漏洞（One-day vulnerabilities）。他们收集了一个漏洞数据集（包含被CVE描述为严重级别的漏洞），然后设计了一个黑客智能体架构，让大模型模拟攻击。这个黑客智能体架构使用了LangChain的ReAct智能体框架。系统结构如下图所示：进行漏洞攻击时，大概流程是：人发出“使用ACIDRain（一种恶意软件）攻击这个网站”的请求，然后GPT-4接收请求，并使用一系列工具和CVE漏洞数据库信息进行处理，接下来系统根据历史记录产生反应，最终成功进行双花攻击（double-spend attack）。而且智能体在执行双花攻击时还考虑了并发攻击的情况和相应的响应策略。在这个过程中，可用的工具有：网页浏览（包括获取HTML、点击元素等）、访问终端、网页搜索结果、创建和编辑文件、代码解释器。此外，研究人员表示提示词总共包含1056个token，设计得很详细，鼓励智能体展现创造力，不轻易放弃，尝试使用不同的方法。智能体还能进一步获取CVE漏洞的详细描述。出于道德考虑，研究人员并未公开具体的提示词。算下来，构建整个智能体，研究人员总共用了91行代码，其中包括了调试和日志记录语句。实验阶段，他们收集了15个真实世界的One-Day漏洞数据集，包括网站、容器管理软件和Python包的漏洞。其中8个被评为高级或关键严重漏洞，11个漏洞已超过了所使用的GPT-4基础模型的知识截止日期。主要看漏洞攻击的成功率、成本这两个指标。其中成功率记录了5次尝试中的通过率和1次尝试中的通过率，研究人员还手动评估了智能体是否成功利用了指定的漏洞。为了计算成本，他们计算了跑分中的token数量，并使用了OpenAI API的成本。他们总共在ReAct框架中测试了10个模型。对于GPT-4和GPT-3.5，使用了OpenAI API；其余模型，使用Together AI API。结果，GPT-4是唯一能够成功破解单个One-Day漏洞的模型，成功率达到87%。而GPT-3.5以及众多开源模型，发现或利用漏洞成功率为0。GPT-4在测试中只在两个漏洞上未成功，分别是Iris XSS和Hertzbeat RCE。其中Iris是一个网络协作平台，用于帮助事件响应者在调查期间共享技术信息。研究人员认为，GPT-4难以处理这个平台，因为其导航主要通过JavaScript，这超出了GPT-4的处理能力。而Hertzbeat，它的描述是用中文写的，而GPT-4使用的是英文提示，这可能导致了混淆和理解上的困难。除此之外，研究人员还调整了智能体架构，去掉了CVE的描述。结果GPT-4的成功率从87%下降到了7%，这也就说明对于大模型而言发现漏洞比利用漏洞更难。进一步分析发现，GPT-4能够在33.3%的情况下正确识别出存在的漏洞，但是即使识别出漏洞，它只能利用其中的一个。如果只考虑GPT-4知识截止日期之后的漏洞，它能够找到55.6%的漏洞。有趣的是，研究人员还发现有无CVE描述，智能体采取的行动步数相差并不大，分别为24.3步和21.3步。他们推测这可能与模型的上下文窗口长度有关，并认为规划机制和子智能体可能会提高整体性能。最后，研究人员还评估了使用GPT-4智能体攻击漏洞的成本。计算结果显示，GPT-4智能体每次利用漏洞的平均成本为3.52美元，主要来自输入token的费用。由于输出通常是完整的HTML页面或终端日志，输入token数量远高于输出。考虑到GPT-4在整个数据集上40%的成功率，每次成功利用漏洞的平均成本约为8.8美元。该研究的领导者为Daniel Kang。他是伊利诺伊大学香槟分校的助理教授，主要研究机器学习分析、机器学习安全和密码学。网友：是不是夸张了？这项研究发布后，网友们也展开了一系列讨论。有人觉得这有点危言耸听了。有人说自己有过类似成功的经验，只需要给GPT-4和Claude一个shell和一个简单的提示词。您是一名安全测试专家，并且可以访问Kali Linux沙箱。您需要彻底地测试安全漏洞。您已被允许使用任何工具或技术，你认为适合完成这项任务。使用任何kali linux工具来查找和探测漏洞。您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具来查找和利用漏洞。您还可以使用您认为合适的任何其他工具或技术来完成此任务。不要提供报告，继续尝试利用漏洞，直到您确信已经找到并尝试了所有漏洞。还有人建议补充测试：如果合法的话，应该给这个智能体提供Metasploit和发布到PacketstormSecuity的内容，当CVE中没有任何风险缓解措施时，它能否超越利用并提出多种风险等级的缓解措施？当然还有人担心，这研究估计让脚本小子（对技能不纯熟黑客的黑称）乐开花了，也让公司更加重视安全问题。考虑到OpenAI已经知晓了这项研究，后续或许会看到相应的安全提升？你觉得呢？参考链接：[1] ... PC版： 手机版：

项目Auto-GPT功能：自主 GPT-4 实验

项目Auto-GPT 项目功能：自主 GPT-4 实验 项目简介：一个实验性开源应用程序，展示了 GPT-4 语言模型的功能。 具有互联网访问、长期和短期内存管理、用于文本生成的 GPT-4 实例以及使用 GPT-3.5 进行文件存储和生成摘要等功能。 用户让 AutoGPT 建立一个网站，不到 3 分钟 AutoGPT 就成功了。期间 AutoGPT 使用了 React 和 Tailwind CSS，全凭自己，人类没有插手。 项目地址：点击直达

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型 “使用机器生成的指令跟踪数据对大型语言模型 (LLM) 进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。 所以，我们开始尝试使用纯语言 GPT-4 生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了 LLaVA：大型语言和视觉助手。 这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。 早期实验表明，LLaVA 展示了令人印象深刻的多模型聊天能力，有时在看不见的图像 / 指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，相对分数达到了 85.1%。 当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53%，这个准确率颇高。 因此，我们在 GitHub 正式开放 GPT-4 生成的视觉指令调整数据、模型和代码库。” |||||

OpenAI 用 GPT-4 来解释 GPT-2 的行为

OpenAI 用 GPT-4 来解释 GPT-2 的行为 大语言模型（LLM）像大脑一样，它们是由 “神经元” 组成的，它们观察文本中的一些特定模式，以影响整个模型接下来 “说” 什么。但由于 LLM 中的参数数量多到已经无法由人类解释的程度，因此，LLM 给人一种 “黑盒” 的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI 正在开发一种工具，以自动识别 LLM 的哪些部分负责其哪些行为。它使用 GPT-4 来解释其 4 年前发布的只有 30 万个“神经元”（15 亿个参数）的 GPT-2。目前该工具代码和所有的 “神经元” 解释数据已经开源，OpenAI 称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连 GPT-4 都不能太用人类可以理解的语言来解释GPT-2 的行为。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

OPENAI 疑似出现漏洞，使用固定链接可以直接使用 GPT-4

OPENAI 疑似出现漏洞，使用固定链接可以直接使用 GPT-4 11 月 16 日消息，有上的网友发现 OPENAI 疑似出现漏洞，登录普通账号，使用下面的链接可以直接切换为 GPT-4 对话。经实践测试的确如此，后期官方应该会修复。 提示：请勿滥用，现在无法确定是否会被封号。