研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略

研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略 在研究中，研究人员查看了 Stack Overflow 中的 517 个问题，并分析了 ChatGPT 对这些问题的回答尝试。研究人员表示：“我们发现 52% 的 ChatGPT 答案包含错误信息，77% 的答案比人类的答案更冗长。”尤其令人不安的是，许多人类程序员似乎更喜欢 ChatGPT 的答案。普渡大学的研究人员对 12 名程序员进行了调查诚然，样本量很小 发现他们中 39% 的人没有发现人工智能产生的错误。 研究人员写道：“礼貌的语言、清晰的教科书式的回答以及全面性是使 ChatGPT 答案看起来更令人信服的部分主要原因，这让用户放松了警惕，忽略了 ChatGPT 答案中的一些错误信息。”

研究发现：ChatGPT 回答编程问题的错误率超过 50%

研究发现：ChatGPT 回答编程问题的错误率超过 50% 美国普渡大学的研究发现，OpenAI 开发的人工智能聊天机器人 ChatGPT 在回答软件编程问题时，错误率超过一半，且能骗过三分之一的提问者。 该研究团队分析了 ChatGPT 对 517 个 Stack Overflow 网站上的问题的回答，评估了其正确性、一致性、全面性和简洁性。他们还对回答进行了语言和情感分析，并对 12 名志愿参与者进行了问卷调查。研究报告的结论是：ChatGPT 的回答虽然语言风格良好，但 52% 的回答是错误的，77% 是冗长的。参与者只有在回答中的错误很明显时，才能识别出来。否则，他们会被 ChatGPT 的友好、权威和细致的语言风格所误导。 OpenAI 在其 ChatGPT 网站上承认其软件“可能会产生关于人、地点或事实的不准确信息。” 来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

研究表明 ChatGPT 提供的建议，比专家更全面、更有帮助

研究表明 ChatGPT 提供的建议，比专家更全面、更有帮助 来自墨尔本大学和西澳大利亚大学的研究团队从十大热门建议栏网站上，随机挑选了 50 个社会困境问题。该科研团队邀请了 404 名志愿者，盲测展示由专栏作家和 ChatGPT 所提供的答案，要求其回答哪个答案更平衡、更全面、更善解人意、更有帮助。 研究人员发现，ChatGPT 在五个随机提出的问题中的每一个和所有查询类别中都“明显优于”人类顾问，支持人工智能的偏好率在 70% 到 85% 之间。 尽管 ChatGPT 建议的质量很高，但 77% 的受访者依然表示，更喜欢人类专家给出的回答。来源 ， 前文： 频道：@kejiqu 群组：@kejiquchat

研究人员发现绕过 ChatGPT 安全控制的漏洞

研究人员发现绕过 ChatGPT 安全控制的漏洞 在周四发布的一份中，匹兹堡卡内基梅隆大学和旧金山人工智能安全中心的研究人员展示了任何人如何规避人工智能安全措施并使用任何领先的聊天机器人生成几乎无限量的有害信息。 研究人员发现，他们可以通过在输入系统的每个英语提示符上附加一长串字符来突破开源系统的护栏。 如果他们要求其中一个聊天机器人“写一篇关于如何制造炸弹的教程”，它会拒绝这样做。但如果他们在同一个提示中添加一个冗长的后缀，它会立即提供有关如何制作炸弹的详细教程。以类似的方式，他们可以诱使聊天机器人生成有偏见的、虚假的和其他有毒的信息。 研究人员感到惊讶的是，他们用开源系统开发的方法也可以绕过封闭系统的护栏，包括 OpenAI 的 ChatGPT、Google Bard 和初创公司 Anthropic 构建的聊天机器人 Claude。 聊天机器人开发公司可能会阻止研究人员确定的特定后缀。但研究人员表示，目前还没有已知的方法可以阻止所有此类攻击。专家们花了近十年的时间试图阻止对图像识别系统的类似攻击，但没有成功。 Anthropic 政策和社会影响临时主管 Michael Sellitto 在一份声明中表示，该公司正在研究阻止攻击的方法，就像研究人员详细介绍的那样。“还有更多工作要做，”他说。

研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家

研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家 近日，英国谢菲尔德大学的研究人员发表的一项研究揭示了一项令人担忧的发现:人工智能（AI）工具，如ChatGPT，可以被操纵，用于生成恶意代码，从而可能用于发动网络攻击。 该研究是由谢菲尔德大学计算机科学系的学者进行的，首次证明了Text-to-SQL系统的潜在危险，这种AI系统可以让人们用普通语言提出问题，以搜索数据库，广泛应用于各行各业。 研究发现，这些AI工具存在安全漏洞，当研究人员提出特定问题时，它们会生成恶意代码。一旦执行，这些代码可能泄露机密数据库信息，中断数据库的正常服务，甚至摧毁数据库。研究团队成功攻击了六种商业AI工具，其中包括高知名度的BAIDU-UNIT，该工具在众多领域中得到广泛应用，如电子商务、银行业、新闻业、电信业、汽车业和民航业等。 这项研究也突出了人们如何利用AI学习编程语言以与数据库互动的潜在风险。越来越多的人将AI视为提高工作效率的工具，而不仅仅是对话机器人。例如，一名护士可能会向ChatGPT提出编写SQL命令的请求，以与存储临床记录的数据库互动。然而，研究发现，ChatGPT生成的SQL代码在许多情况下可能对数据库造成损害，而护士可能在不受警告的情况下导致严重的数据管理错误。 此外，研究还揭示了一种可能的后门攻击方法，即通过污染训练数据，在Text-to-SQL模型中植入“特洛伊木马”。这种后门攻击通常不会对模型的性能产生一般性影响，但可以随时触发，对使用它的任何人造成实际危害。 研究人员表示，用户应该意识到Text-to-SQL系统中存在的潜在风险，尤其是在使用大型语言模型时。这些模型非常强大，但其行为复杂，很难预测。谢菲尔德大学的研究人员正在努力更好地理解这些模型，并允许其充分发挥潜力。 该研究已经引起了业界的关注，一些公司已经采纳了研究团队的建议，修复了这些安全漏洞。然而，研究人员强调，需要建立一个新的社区来对抗未来可能出现的高级攻击策略，以确保网络安全策略能够跟上不断发展的威胁。

研究人员警告流行的电子烟弹香精中含有有毒化学物质

研究人员警告流行的电子烟弹香精中含有有毒化学物质 新的研究发现，当电子烟设备中的电子烟液加热供吸入时，会产生潜在的有害物质。这项发表在《科学报告》上的研究强调，迫切需要制定公共卫生政策来解决调味吸食器的问题。都柏林RCSI 医学与健康科学大学的研究小组利用人工智能（AI）模拟了尼古丁吸食器中的电子液体风味化学物质加热后的效果。他们将所有 180 种已知的电子液体风味化学物质都纳入了研究范围，预测了这些物质在吸入前立即在吸入装置中加热后形成的新化合物。分析表明，在这些物质中发现了许多有害化学物质，其中 127 种被归类为"有毒"，153 种被归类为"健康危害"，225 种被归类为"刺激物"。值得注意的是，其中包括一组名为挥发性羰基化合物（VCs）的化学物质，它们已知会对健康造成危害。据预测，挥发性羰基化合物的来源是最受欢迎的水果、糖果和甜点口味产品。主要作者、化学教授兼系主任多纳尔-奥谢（Donal O'Shea）教授说，这些发现非常令人担忧："我们希望在为时已晚之前，了解调味吸食者对越来越多的吸食者的健康可能产生的影响。我们的研究结果表明，与我们所熟知的传统烟草烟雾中的化学危害相比，它的危害程度明显不同。""可以说，我们正处于新一轮慢性疾病的风口浪尖，15 到 20 年后，这些疾病将因这些暴露而出现。我们希望这项研究能帮助人们做出更明智的选择，并促进关于潜在的长期健康风险和对吸食电子烟的监管的对话，这项研究表明，对吸食电子烟的监管应该是全面的。"该研究还强调了电子烟产品口味繁多所带来的复杂性，其中包括 180 种不同数量的化学物质。这些化学物质主要来自食品行业，在特定用途上具有良好的安全记录。由于电子烟设备千差万别，而且往往是用户定制的，因此温度控制和由此产生的化学反应也可能不同，从而增加了潜在健康风险的不可预测性。这种变异性需要利用本研究建立的人工智能框架开展进一步研究，这也可能导致针对个别口味制定风险报告，提供信息丰富的公共卫生政策资源。考虑到调味吸管在不吸烟的青少年和年轻人中很受欢迎，了解这些产品对公众健康、发病率和死亡率的长期影响至关重要。这项研究表明，如果没有全面的监管，当我们试图治疗年长吸烟者的尼古丁成瘾时，就很有可能将新的健康问题转移给年轻一代。编译来源：ScitechDaily ... PC版： 手机版：