研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家

研究显示:ChatGPT可能会被诱骗生成恶意代码 | 站长之家近日，英国谢菲尔德大学的研究人员发表的一项研究揭示了一项令人担忧的发现:人工智能（AI）工具，如ChatGPT，可以被操纵，用于生成恶意代码，从而可能用于发动网络攻击。该研究是由谢菲尔德大学计算机科学系的学者进行的，首次证明了Text-to-SQL系统的潜在危险，这种AI系统可以让人们用普通语言提出问题，以搜索数据库，广泛应用于各行各业。研究发现，这些AI工具存在安全漏洞，当研究人员提出特定问题时，它们会生成恶意代码。一旦执行，这些代码可能泄露机密数据库信息，中断数据库的正常服务，甚至摧毁数据库。研究团队成功攻击了六种商业AI工具，其中包括高知名度的BAIDU-UNIT，该工具在众多领域中得到广泛应用，如电子商务、银行业、新闻业、电信业、汽车业和民航业等。这项研究也突出了人们如何利用AI学习编程语言以与数据库互动的潜在风险。越来越多的人将AI视为提高工作效率的工具，而不仅仅是对话机器人。例如，一名护士可能会向ChatGPT提出编写SQL命令的请求，以与存储临床记录的数据库互动。然而，研究发现，ChatGPT生成的SQL代码在许多情况下可能对数据库造成损害，而护士可能在不受警告的情况下导致严重的数据管理错误。此外，研究还揭示了一种可能的后门攻击方法，即通过污染训练数据，在Text-to-SQL模型中植入“特洛伊木马”。这种后门攻击通常不会对模型的性能产生一般性影响，但可以随时触发，对使用它的任何人造成实际危害。研究人员表示，用户应该意识到Text-to-SQL系统中存在的潜在风险，尤其是在使用大型语言模型时。这些模型非常强大，但其行为复杂，很难预测。谢菲尔德大学的研究人员正在努力更好地理解这些模型，并允许其充分发挥潜力。该研究已经引起了业界的关注，一些公司已经采纳了研究团队的建议，修复了这些安全漏洞。然而，研究人员强调，需要建立一个新的社区来对抗未来可能出现的高级攻击策略，以确保网络安全策略能够跟上不断发展的威胁。

在Telegram中查看

相关推荐

AI 开源开发平台 Hugging Face 存在托管的恶意代码

AI 开源开发平台 Hugging Face 存在托管的恶意代码安全公司 JFrog 的研究人员周四在一份报告中表示，上传到人工智能开发平台 Hugging Face 的代码在用户计算机上秘密安装了后门和其他类型的恶意软件。研究人员表示，他们总共发现大约 100 个提交内容在下载并加载到最终用户设备上时执行了隐藏的和不需要的操作。大多数被标记的机器学习模型（所有这些模型都没有被 Hugging Face 检测到）似乎是研究人员或好奇的用户上传的良性概念证明。研究人员表示，其中大约10个是“真正恶意的”，因为它们在加载时执行的操作实际上损害了用户的安全，例如创建一个可以从互联网远程访问并完全控制用户设备的反向 Shell 。 Hugging Face 已删除了所有 JFrog 标记的模型。这是继 PyPI, NPM 和 GitHub 之后又一个被发现受到水坑攻击（Watering Hole Attack）的开发平台，虽然并不让人太意外。

Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder

Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder AI 创业公司 Hugging Face 和 ServiceNow 发布了免费的代码生成模型。类似 DeepMind 的AlphaCode、亚马逊的 CodeWhisperer 和 GitHub 的 Copilot(基于 OpenAI 的 Codex)，StarCoder 使用 Apache License 2.0 许可证，允许任何人免费使用，但严格意义上不是开源模型，它禁止用户使用该模型生成或传播恶意代码。StarCoder 使用了开源代码数据集 The Stack 训练，有 150 亿参数。其数据集包括了逾 80 种不同编程语言和来自 github issues 和 commits 的文本。#AI 来源，来自：雷锋频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

卡巴斯基确认拼多多APP的中国版本中存在恶意代码

卡巴斯基确认拼多多APP的中国版本中存在恶意代码总部位于莫斯科的卡巴斯基实验室的安全研究人员在PDD的中国购物应用拼多多版本中发现并概述了潜在的恶意软件，此前谷歌将其从其安卓应用商店中下架。在对恶意代码的首批公开报告之一中，卡巴斯基阐述了该应用程序如何提升自身权限以破坏用户隐私和数据安全。它测试了通过中国本地应用商店分发的应用版本，华为技术有限公司、腾讯控股有限公司和小米公司经营着一些最大的应用市场。卡巴斯基与彭博社分享的调查结果是独立安全团队对上周触发谷歌行动和恶意软件警告的最清晰解释之一。这家网络安全公司在揭露历史上一些最大的网络攻击方面发挥了作用，该公司表示，它发现了早期版本的拼多多利用系统软件漏洞安装后门并获得对用户数据和通知的未授权访问的证据。这些结论在很大程度上与过去几周在网上发布他们的发现的研究人员的结论一致，尽管彭博新闻社尚未证实早期报道的真实性。这起安全事件可能会为美国本已激烈的关于中国应用程序数据不安全的言论火上浇油。虽然拼多多主要在中国使用，但 PDD 的另一款应用 Temu销售从衣服到厨房用品的所有商品在过去几个月的大部分时间里一直是苹果公司美国应用商店中下载次数最多的应用。它尚未像 ByteDance Ltd. 的 TikTok 那样成为立法者审查的焦点。

ChatGPT 生成的大部分代码是不安全的

ChatGPT 生成的大部分代码是不安全的加拿大魁北克大学的研究人员在 arXiv 上发表论文，分析了 ChatGPT 所生成代码的安全性。研究人员表示结果令他们倍感担忧。ChatGPT 生成的部分代码甚至达不到最低安全标志，而当你问它时它还知道代码是不安全的。研究人员让 ChatGPT 使用 C、C++、Python 和 Java 四种语言生成了 21 个程序和脚本。研究人员称，ChatGPT 似乎知道它生成的代码是不安全的，但就是不说，除非你问它。ChatGPT 拒绝生成攻击性代码，但却会生成有漏洞的代码，这在道德上是不一致的。来源，来自：雷锋频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

GitHub 受到自动恶意分叉攻击正在大量分发恶意代码

GitHub 受到自动恶意分叉攻击正在大量分发恶意代码该恶意软件分发活动现已传播到 GitHub，并扩大到至少数十万个受感染的存储库。根据安全公司 Apiiro 的说法，该代码下毒的活动包括以下几个步骤：克隆（clone）合法的存储库，用恶意软件加载程序感染它们，以相同的名称将更改后的文件上传到 GitHub，然后对有毒的存储库进行数千次分叉（fork）和星标（star），并在社交媒体渠道、论坛和网站上推广受感染的代码库。此后，寻找有用代码的开发人员可能会发现一个被描述为有用且乍一看似乎合适的代码库，但他们的数据却被运行恶意 Python 代码和二进制可执行文件的隐藏负载窃取。以上策略均可自动化部署，根据扫描结果粗略估计至少有数十万个恶意代码库被生成，即使只有较小比例在审核过程中幸存，数量也有上千个。研究人员表示，GitHub 为这种恶意软件分发链提供了有效方法，因为它支持自动生成帐户和存储库、友好的 API 和软速率限制以及其庞大的规模。因此 GitHub 当前除了移除被举报的仓库外，并没有更加有效的方法预防该攻击过程。

拼多多的事还没完。俄罗斯知名反病毒软件卡巴斯基正式开锤拼多多。莫斯科卡巴斯基实验室的研究人员证实拼多多安装程序有恶意代码，破坏攻

拼多多的事还没完。俄罗斯知名反病毒软件卡巴斯基正式开锤拼多多。莫斯科卡巴斯基实验室的研究人员证实拼多多安装程序有恶意代码，破坏攻击用户手机系统。现在中美俄三国，除了中国都在锤拼多多，大概我们监管机构没有人看得懂代码和程序，也不懂技术。恶意代码摆在面前也看不懂，即使全世界以你为敌。以下图片来源于卡巴斯基，以及目前最细节的中文分析（github上davincifans101）拼多多这个我国安装量巨大的软件确实存在利用漏洞恶意代码攻击用户的情况。我们的监管机构像死了一样，看不见。）参见链接 1. 2.

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人