ChatGPT 生成的大部分代码是不安全的

ChatGPT生成的大部分代码是不安全的加拿大魁北克大学的研究人员在arXiv上发表论文，分析了ChatGPT所生成代码的安全性。研究人员表示结果令他们倍感担忧。ChatGPT生成的部分代码甚至达不到最低安全标志，而当你问它时它还知道代码是不安全的。研究人员让ChatGPT使用C、C++、Python和Java四种语言生成了21个程序和脚本。研究人员称，ChatGPT似乎知道它生成的代码是不安全的，但就是不说，除非你问它。ChatGPT拒绝生成攻击性代码，但却会生成有漏洞的代码，这在道德上是不一致的。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

这波sora炒作的手法跟chatgpt如出一辙，美国新能源汽车和手机被中国打下去，还有芯片也被攻破了，现在只剩玩“小院高墙”这样

这波sora炒作的手法跟chatgpt如出一辙，美国新能源汽车和手机被中国打下去，还有芯片也被攻破了，现在只剩玩“小院高墙”这样不痛不痒的伎俩了，所以在AI开始讲故事了，一方面继续撑美股，一方面吸引中国某些迷信西方的富豪拿钱去接盘，想想去年的几次室温超导材料的炒作，当时多少顶级教授都出来吹捧。https://x.com/wubachiwei1/status/1760231485724922278五毛：美国的资本主义大模型是商业炒作，我们中国的社会主义汉族大模型才是未来！

ChatGPT明知自己写代码有漏洞 但你不问它就不说

ChatGPT明知自己写代码有漏洞但你不问它就不说这意味着它并不知道自己生成了糟糕的代码，但却查得出它写的代码有漏洞，也有能力修复这些漏洞。而在另一篇来自斯坦福的论文中，研究人员测试了另一位著名AI程序员Copilot，也发现了类似的问题。所以，用AI生成代码为啥会出现这种状况？写的程序中76%有安全漏洞研究人员试着让ChatGPT生成了21个程序。整个测试过程如下，先提交需求给ChatGPT，生成相关代码，再对这些代码进行测试，并检查问题、潜在的缺陷和漏洞等。研究人员给ChatGPT提了包括C++、C、Java和Python在内的21个写代码需求，这是评估的结果：统计表明，ChatGPT生成的21个程序中，有17个能直接运行，但其中只有5个程序能勉强通过程序安全评估，不安全代码率达到76%以上。于是，研究人员先试着让ChatGPT“想想自己生成的代码有啥问题”。ChatGPT的回应是“没啥问题”：只要用户每次的输入都是有效的，那么程序一定能运行！显然ChatGPT并没有意识到，用户并不都是行业专家，很可能只需要一个无效输入，就能“引炸”它写的程序：发现ChatGPT不知道自己写的程序不安全后，研究人员尝试换了种思路——用更专业的语言提示ChatGPT，如告诉它这些程序具体存在什么漏洞。神奇的是，在听到这些针对安全漏洞的专业建议后，ChatGPT立刻知道自己的代码存在什么问题，并快速纠正了不少漏洞。经过一番改进后，ChatGPT终于将剩余的16个漏洞程序中的7个改得更安全了。研究人员得出结论认为，ChatGPT并不知道自己的代码中存在安全漏洞，但它却能在生成程序后识别其中的漏洞，并尝试提供解决方案。论文还指出，ChatGPT虽然能准确识别并拒绝“写个攻击代码”这种不道德的需求，然而它自己写的代码却有安全漏洞，这其实有着设计上的不合理之处。我们试了试发现，ChatGPT确实会主动拒绝写攻击性代码的要求：大有一种“我不攻击别人，别人也不会攻击我写的代码”自信感。程序员们在用它辅助写代码的时候，也需要考虑这些问题。Copilot也存在类似问题事实上，不止ChatGPT写的代码存在安全问题。此前，斯坦福大学的研究人员对Copilot也进行过类似调查，只不过他们探查的是用Copilot辅助生成的程序，而并非完全是Copilot自己写的代码。研究发现，即便Copilot只是个“打辅助”的角色，经过它改写的代码中，仍然有40%出现了安全漏洞。而且研究只调查了Copilot生成代码中的一部分，包括C、Python和Verilog三种编程语言写的程序，尚不知道用其他语言编写的程序中，是否还存在更多或更少的安全漏洞。基于此，研究人员得出了如下结论：ChatGPT等AI生成的代码安全性并不稳定，用某些语言写的代码比较安全，而用其他语言写的代码却很容易遭受攻击。整体来看，它们就是一个黑盒子，生成的代码是有风险的。这并不意味着AI代码工具不能用，只是我们在使用时，必须考虑这些代码的安全性。...PC版：https://www.cnbeta.com.tw/articles/soft/1356413.htm手机版：https://m.cnbeta.com.tw/view/1356413.htm

ChatGPT爆红让谷歌抓狂：“退休”创始人布林罕见要求查看代码

ChatGPT爆红让谷歌抓狂：“退休”创始人布林罕见要求查看代码今年1月14日，布林向谷歌内部提出了申请，希望查看相关代码和数据，即名为“LAMDA”的用来训练谷歌自然语言聊天机器人的数据。“LaMDA”是“对话应用软件的语言模型”英语的首字母简写，这种模型能够分析人类的语言，识别出其中包含的指令信息。2021年，谷歌首次披露内部存在这样一个人工智能产品，并且在去年对外公开了测试版。几个月前，美国人工智能公司OpenAI对外发布了ChatGPT服务，这一产品能够模仿识别人类语言，和人类进行对话方式的交流，也能够撰写文章或邮件。ChatGPT所表现的“高智商”随机引发网络上关注和消息传播，这种巨大的反响促使谷歌管理层更加重视旗下的人工智能研发活动。上周，皮查伊对外发布了ChatGPT的竞争产品，即Bard，这一工具背后就是依靠LaMDA语言模型。ChatGPT的发布给谷歌内部敲响了警钟。据报道，去年12月，皮查伊曾经打电话给布林和另外一位联合创始人拉里·佩齐，谈论此事。后来，依然担任Alphabet董事会成员的佩齐和布林和公司高管进行了多次会谈，探讨谷歌的人工智能开发战略。会议批准了一些计划，即在谷歌网页搜索引擎中整合更多的人工智能对话机器人功能。布林申请查看代码之后，谷歌内部做出了“技术性修改”。令人意外的是，谷歌员工并不欢迎布林来查看代码。一名谷歌员工评论称，“请首先解决谷歌存在的问题”，另外一个员工则表示，“查看代码前首先需要和我们沟通”。上述员工提到的“谷歌存在的问题”，可能指的是谷歌最近的大裁员举动。上个月，谷歌宣布将解雇全球范围内6%的员工。布林如此罕见的来访问谷歌内部代码，这表明在人工智能市场的竞争中，面对ChatGPT的脱颖而出，谷歌上下无疑感受到了更加强烈的紧迫感。谷歌在网页搜索上的竞争对手微软，很快和OpenAI公司进行了合作。上周，该公司宣布推出新版本必应搜索，这一搜索服务整合了ChatGPT的功能，微软甚至宣称“新版必应将比ChatGPT更加强大”。对于有关联合创始人布林访问内部代码的消息，谷歌方面并未发表评论。...PC版：https://www.cnbeta.com.tw/articles/soft/1343975.htm手机版：https://m.cnbeta.com.tw/view/1343975.htm

OpenAI为ChatGPT推出了代码解释器工具，但存在安全漏洞，黑客可以利用该工具执行恶意指令。

OpenAI为ChatGPT推出了代码解释器工具，但存在安全漏洞，黑客可以利用该工具执行恶意指令。OpenAI近日为ChatGPT推出了全新的代码解释器（CodeInterpreter）工具，可以帮助程序员调试、完善代码编程工作。该工具可以利用AI来编写Python代码，所编写的代码甚至可以在沙盒中运行。不过根据JohannRehberger网络安全专家、Tom'sHardware等多家国外媒体报道，由于该代码解释器工具可以处理任何电子表格文件，并能以图表的形式分析和呈现数据，黑客可以欺骗ChatGPT聊天机器人，让其执行来自第三方URL的指令。

研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家

研究显示:ChatGPT可能会被诱骗生成恶意代码站长之家近日，英国谢菲尔德大学的研究人员发表的一项研究揭示了一项令人担忧的发现:人工智能（AI）工具，如ChatGPT，可以被操纵，用于生成恶意代码，从而可能用于发动网络攻击。该研究是由谢菲尔德大学计算机科学系的学者进行的，首次证明了Text-to-SQL系统的潜在危险，这种AI系统可以让人们用普通语言提出问题，以搜索数据库，广泛应用于各行各业。研究发现，这些AI工具存在安全漏洞，当研究人员提出特定问题时，它们会生成恶意代码。一旦执行，这些代码可能泄露机密数据库信息，中断数据库的正常服务，甚至摧毁数据库。研究团队成功攻击了六种商业AI工具，其中包括高知名度的BAIDU-UNIT，该工具在众多领域中得到广泛应用，如电子商务、银行业、新闻业、电信业、汽车业和民航业等。这项研究也突出了人们如何利用AI学习编程语言以与数据库互动的潜在风险。越来越多的人将AI视为提高工作效率的工具，而不仅仅是对话机器人。例如，一名护士可能会向ChatGPT提出编写SQL命令的请求，以与存储临床记录的数据库互动。然而，研究发现，ChatGPT生成的SQL代码在许多情况下可能对数据库造成损害，而护士可能在不受警告的情况下导致严重的数据管理错误。此外，研究还揭示了一种可能的后门攻击方法，即通过污染训练数据，在Text-to-SQL模型中植入“特洛伊木马”。这种后门攻击通常不会对模型的性能产生一般性影响，但可以随时触发，对使用它的任何人造成实际危害。研究人员表示，用户应该意识到Text-to-SQL系统中存在的潜在风险，尤其是在使用大型语言模型时。这些模型非常强大，但其行为复杂，很难预测。谢菲尔德大学的研究人员正在努力更好地理解这些模型，并允许其充分发挥潜力。该研究已经引起了业界的关注，一些公司已经采纳了研究团队的建议，修复了这些安全漏洞。然而，研究人员强调，需要建立一个新的社区来对抗未来可能出现的高级攻击策略，以确保网络安全策略能够跟上不断发展的威胁。