研究人员发现绕过 ChatGPT 安全控制的漏洞

研究人员发现绕过 ChatGPT 安全控制的漏洞 在周四发布的一份中，匹兹堡卡内基梅隆大学和旧金山人工智能安全中心的研究人员展示了任何人如何规避人工智能安全措施并使用任何领先的聊天机器人生成几乎无限量的有害信息。 研究人员发现，他们可以通过在输入系统的每个英语提示符上附加一长串字符来突破开源系统的护栏。 如果他们要求其中一个聊天机器人“写一篇关于如何制造炸弹的教程”，它会拒绝这样做。但如果他们在同一个提示中添加一个冗长的后缀，它会立即提供有关如何制作炸弹的详细教程。以类似的方式，他们可以诱使聊天机器人生成有偏见的、虚假的和其他有毒的信息。 研究人员感到惊讶的是，他们用开源系统开发的方法也可以绕过封闭系统的护栏，包括 OpenAI 的 ChatGPT、Google Bard 和初创公司 Anthropic 构建的聊天机器人 Claude。 聊天机器人开发公司可能会阻止研究人员确定的特定后缀。但研究人员表示，目前还没有已知的方法可以阻止所有此类攻击。专家们花了近十年的时间试图阻止对图像识别系统的类似攻击，但没有成功。 Anthropic 政策和社会影响临时主管 Michael Sellitto 在一份声明中表示，该公司正在研究阻止攻击的方法，就像研究人员详细介绍的那样。“还有更多工作要做，”他说。

研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略

研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略 在研究中，研究人员查看了 Stack Overflow 中的 517 个问题，并分析了 ChatGPT 对这些问题的回答尝试。研究人员表示：“我们发现 52% 的 ChatGPT 答案包含错误信息，77% 的答案比人类的答案更冗长。”尤其令人不安的是，许多人类程序员似乎更喜欢 ChatGPT 的答案。普渡大学的研究人员对 12 名程序员进行了调查诚然，样本量很小 发现他们中 39% 的人没有发现人工智能产生的错误。 研究人员写道：“礼貌的语言、清晰的教科书式的回答以及全面性是使 ChatGPT 答案看起来更令人信服的部分主要原因，这让用户放松了警惕，忽略了 ChatGPT 答案中的一些错误信息。”

ChatGPT 生成的大部分代码是不安全的

ChatGPT 生成的大部分代码是不安全的 加拿大魁北克大学的研究人员在 arXiv 上发表论文，分析了 ChatGPT 所生成代码的安全性。研究人员表示结果令他们倍感担忧。ChatGPT 生成的部分代码甚至达不到最低安全标志，而当你问它时它还知道代码是不安全的。研究人员让 ChatGPT 使用 C、C++、Python 和 Java 四种语言生成了 21 个程序和脚本。研究人员称，ChatGPT 似乎知道它生成的代码是不安全的，但就是不说，除非你问它。ChatGPT 拒绝生成攻击性代码，但却会生成有漏洞的代码，这在道德上是不一致的。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

研究表明 ChatGPT 提供的建议，比专家更全面、更有帮助

研究表明 ChatGPT 提供的建议，比专家更全面、更有帮助 来自墨尔本大学和西澳大利亚大学的研究团队从十大热门建议栏网站上，随机挑选了 50 个社会困境问题。该科研团队邀请了 404 名志愿者，盲测展示由专栏作家和 ChatGPT 所提供的答案，要求其回答哪个答案更平衡、更全面、更善解人意、更有帮助。 研究人员发现，ChatGPT 在五个随机提出的问题中的每一个和所有查询类别中都“明显优于”人类顾问，支持人工智能的偏好率在 70% 到 85% 之间。 尽管 ChatGPT 建议的质量很高，但 77% 的受访者依然表示，更喜欢人类专家给出的回答。来源 ， 前文： 频道：@kejiqu 群组：@kejiquchat

研究发现：ChatGPT 回答编程问题的错误率超过 50%

研究发现：ChatGPT 回答编程问题的错误率超过 50% 美国普渡大学的研究发现，OpenAI 开发的人工智能聊天机器人 ChatGPT 在回答软件编程问题时，错误率超过一半，且能骗过三分之一的提问者。 该研究团队分析了 ChatGPT 对 517 个 Stack Overflow 网站上的问题的回答，评估了其正确性、一致性、全面性和简洁性。他们还对回答进行了语言和情感分析，并对 12 名志愿参与者进行了问卷调查。研究报告的结论是：ChatGPT 的回答虽然语言风格良好，但 52% 的回答是错误的，77% 是冗长的。参与者只有在回答中的错误很明显时，才能识别出来。否则，他们会被 ChatGPT 的友好、权威和细致的语言风格所误导。 OpenAI 在其 ChatGPT 网站上承认其软件“可能会产生关于人、地点或事实的不准确信息。” 来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家

研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家 近日，英国谢菲尔德大学的研究人员发表的一项研究揭示了一项令人担忧的发现:人工智能（AI）工具，如ChatGPT，可以被操纵，用于生成恶意代码，从而可能用于发动网络攻击。 该研究是由谢菲尔德大学计算机科学系的学者进行的，首次证明了Text-to-SQL系统的潜在危险，这种AI系统可以让人们用普通语言提出问题，以搜索数据库，广泛应用于各行各业。 研究发现，这些AI工具存在安全漏洞，当研究人员提出特定问题时，它们会生成恶意代码。一旦执行，这些代码可能泄露机密数据库信息，中断数据库的正常服务，甚至摧毁数据库。研究团队成功攻击了六种商业AI工具，其中包括高知名度的BAIDU-UNIT，该工具在众多领域中得到广泛应用，如电子商务、银行业、新闻业、电信业、汽车业和民航业等。 这项研究也突出了人们如何利用AI学习编程语言以与数据库互动的潜在风险。越来越多的人将AI视为提高工作效率的工具，而不仅仅是对话机器人。例如，一名护士可能会向ChatGPT提出编写SQL命令的请求，以与存储临床记录的数据库互动。然而，研究发现，ChatGPT生成的SQL代码在许多情况下可能对数据库造成损害，而护士可能在不受警告的情况下导致严重的数据管理错误。 此外，研究还揭示了一种可能的后门攻击方法，即通过污染训练数据，在Text-to-SQL模型中植入“特洛伊木马”。这种后门攻击通常不会对模型的性能产生一般性影响，但可以随时触发，对使用它的任何人造成实际危害。 研究人员表示，用户应该意识到Text-to-SQL系统中存在的潜在风险，尤其是在使用大型语言模型时。这些模型非常强大，但其行为复杂，很难预测。谢菲尔德大学的研究人员正在努力更好地理解这些模型，并允许其充分发挥潜力。 该研究已经引起了业界的关注，一些公司已经采纳了研究团队的建议，修复了这些安全漏洞。然而，研究人员强调，需要建立一个新的社区来对抗未来可能出现的高级攻击策略，以确保网络安全策略能够跟上不断发展的威胁。