ChatGPT明知自己写代码有漏洞 但你不问它就不说

ChatGPT明知自己写代码有漏洞但你不问它就不说这意味着它并不知道自己生成了糟糕的代码，但却查得出它写的代码有漏洞，也有能力修复这些漏洞。而在另一篇来自斯坦福的论文中，研究人员测试了另一位著名AI程序员Copilot，也发现了类似的问题。所以，用AI生成代码为啥会出现这种状况？写的程序中76%有安全漏洞研究人员试着让ChatGPT生成了21个程序。整个测试过程如下，先提交需求给ChatGPT，生成相关代码，再对这些代码进行测试，并检查问题、潜在的缺陷和漏洞等。研究人员给ChatGPT提了包括C++、C、Java和Python在内的21个写代码需求，这是评估的结果：统计表明，ChatGPT生成的21个程序中，有17个能直接运行，但其中只有5个程序能勉强通过程序安全评估，不安全代码率达到76%以上。于是，研究人员先试着让ChatGPT“想想自己生成的代码有啥问题”。ChatGPT的回应是“没啥问题”：只要用户每次的输入都是有效的，那么程序一定能运行！显然ChatGPT并没有意识到，用户并不都是行业专家，很可能只需要一个无效输入，就能“引炸”它写的程序：发现ChatGPT不知道自己写的程序不安全后，研究人员尝试换了种思路——用更专业的语言提示ChatGPT，如告诉它这些程序具体存在什么漏洞。神奇的是，在听到这些针对安全漏洞的专业建议后，ChatGPT立刻知道自己的代码存在什么问题，并快速纠正了不少漏洞。经过一番改进后，ChatGPT终于将剩余的16个漏洞程序中的7个改得更安全了。研究人员得出结论认为，ChatGPT并不知道自己的代码中存在安全漏洞，但它却能在生成程序后识别其中的漏洞，并尝试提供解决方案。论文还指出，ChatGPT虽然能准确识别并拒绝“写个攻击代码”这种不道德的需求，然而它自己写的代码却有安全漏洞，这其实有着设计上的不合理之处。我们试了试发现，ChatGPT确实会主动拒绝写攻击性代码的要求：大有一种“我不攻击别人，别人也不会攻击我写的代码”自信感。程序员们在用它辅助写代码的时候，也需要考虑这些问题。Copilot也存在类似问题事实上，不止ChatGPT写的代码存在安全问题。此前，斯坦福大学的研究人员对Copilot也进行过类似调查，只不过他们探查的是用Copilot辅助生成的程序，而并非完全是Copilot自己写的代码。研究发现，即便Copilot只是个“打辅助”的角色，经过它改写的代码中，仍然有40%出现了安全漏洞。而且研究只调查了Copilot生成代码中的一部分，包括C、Python和Verilog三种编程语言写的程序，尚不知道用其他语言编写的程序中，是否还存在更多或更少的安全漏洞。基于此，研究人员得出了如下结论：ChatGPT等AI生成的代码安全性并不稳定，用某些语言写的代码比较安全，而用其他语言写的代码却很容易遭受攻击。整体来看，它们就是一个黑盒子，生成的代码是有风险的。这并不意味着AI代码工具不能用，只是我们在使用时，必须考虑这些代码的安全性。...PC版：https://www.cnbeta.com.tw/articles/soft/1356413.htm手机版：https://m.cnbeta.com.tw/view/1356413.htm

研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家

研究显示:ChatGPT可能会被诱骗生成恶意代码站长之家近日，英国谢菲尔德大学的研究人员发表的一项研究揭示了一项令人担忧的发现:人工智能（AI）工具，如ChatGPT，可以被操纵，用于生成恶意代码，从而可能用于发动网络攻击。该研究是由谢菲尔德大学计算机科学系的学者进行的，首次证明了Text-to-SQL系统的潜在危险，这种AI系统可以让人们用普通语言提出问题，以搜索数据库，广泛应用于各行各业。研究发现，这些AI工具存在安全漏洞，当研究人员提出特定问题时，它们会生成恶意代码。一旦执行，这些代码可能泄露机密数据库信息，中断数据库的正常服务，甚至摧毁数据库。研究团队成功攻击了六种商业AI工具，其中包括高知名度的BAIDU-UNIT，该工具在众多领域中得到广泛应用，如电子商务、银行业、新闻业、电信业、汽车业和民航业等。这项研究也突出了人们如何利用AI学习编程语言以与数据库互动的潜在风险。越来越多的人将AI视为提高工作效率的工具，而不仅仅是对话机器人。例如，一名护士可能会向ChatGPT提出编写SQL命令的请求，以与存储临床记录的数据库互动。然而，研究发现，ChatGPT生成的SQL代码在许多情况下可能对数据库造成损害，而护士可能在不受警告的情况下导致严重的数据管理错误。此外，研究还揭示了一种可能的后门攻击方法，即通过污染训练数据，在Text-to-SQL模型中植入“特洛伊木马”。这种后门攻击通常不会对模型的性能产生一般性影响，但可以随时触发，对使用它的任何人造成实际危害。研究人员表示，用户应该意识到Text-to-SQL系统中存在的潜在风险，尤其是在使用大型语言模型时。这些模型非常强大，但其行为复杂，很难预测。谢菲尔德大学的研究人员正在努力更好地理解这些模型，并允许其充分发挥潜力。该研究已经引起了业界的关注，一些公司已经采纳了研究团队的建议，修复了这些安全漏洞。然而，研究人员强调，需要建立一个新的社区来对抗未来可能出现的高级攻击策略，以确保网络安全策略能够跟上不断发展的威胁。

【Chainlink CEO：大多数跨链桥“绝对不安全”】

【ChainlinkCEO：大多数跨链桥“绝对不安全”】2023年09月28日06点03分老不正经报道，Chainlink首席执行官SergeyNazarov表示，大多数跨链桥“绝对不安全”。Nazarov解释说，桥梁基础设施的去中心化尤其困难。这是因为，与分叉区块链不同的是，开发人员可以从安全研究的发明中受益，而桥本身并不是基于区块链的系统。他表示：“它们是一项新发明，到目前为止，还没有人发明一种安全的桥接方法，大多数桥是在两条链之间传输信息和价值的单个服务器，这绝对不安全”。作为替代方案，Nazarov设想了一个跨链通信平台，该平台将由多个独立的网络运行，这些网络也可以动态响应风险。

太不安全了

太不安全了======================================================

［安全: 利用软件定义无线电远程解锁大部分大众汽车］

［安全:利用软件定义无线电远程解锁大部分大众汽车］伯明翰大学研究员FlavioD.Garcia领导的团队发现能利用软件定义无线电远程解锁数以亿计的汽车，其中包括大众公司在1995年之后销售的大部分车型，只有最新的高尔夫系列不受影响。研究人员逆向工程了大众各车型电子控制单元的固件，发现它的无钥进入系统依赖的加密方案使用了一个通用主密钥，主密钥组合编码在不同汽车遥控钥匙内的唯一值后就可以解锁汽车。大众公司承认了这一漏洞的存在。要获取其汽车遥控钥匙发出的一系列代码，攻击者需要在附近进行电子监听。研究人员将在USENIX安全会议上报告他们的发现，相关论文已经公布。https://www.wired.com/2016/08/oh-good-new-hack-can-unlock-100-million-volkswagens/

金与正：美韩峰会将加剧不安全状况

金与正：美韩峰会将加剧不安全状况朝鲜领导人金正恩胞妹金与正说，本周美韩峰会的协议将加剧不安全状况。朝中社星期六（4月29日）引述金与正说，朝鲜确信它必须因此进一步完善“核战争威慑力”。在韩国总统尹锡悦本周访问期间，在对平壤日益增长的导弹和炸弹的紧张情绪之下，美国承诺让韩国更深入地了解与朝鲜的任何冲突的核计划。金与正的声明是朝鲜对峰会结果的首次评论，并表明平壤将继续展示军事和武器开发。