近期,全球范围多家机构对AI大模型进行安全检测发现,当前市场上的主流AI大模型在内容安全、数据安全等方面存在明显薄弱环节,AI安

近期,全球范围多家机构对AI大模型进行安全检测发现,当前市场上的主流AI大模型在内容安全、数据安全等方面存在明显薄弱环节,AI安全问题引发高度关注。在此背景下,上市公司加大AI大模型检测、内容安全、数据安全业务布局。数据安全市场正加快形成千亿级产业规模。工业和信息化部信息通信科技委委员、网络安全研究所所长闫怀志指出,AI安全建设带来很多市场机会,比如隐私保护技术、风险评估与治理、安全教育与培训、安全咨询与服务方面。随着大模型技术的不断发展,网络安全行业需要不断创新和完善,以满足日益增长的安全需求。(中证报)

相关推荐

封面图片

华为与安恒信息签署全面合作协议 双方将在 AI 大模型、人工智能 + 等方面展开深入合作

华为与安恒信息签署全面合作协议双方将在AI大模型、人工智能+等方面展开深入合作3月12日,华为技术有限公司(以下简称“华为”)与安恒信息在深圳华为坂田基地签署全面合作协议。本次签约,将依托双方品牌价值及优势,在AI大模型、人工智能+、云安全、信创、自主创新网络安全、智慧园区、企业数字化转型等方面展开深入合作。未来,双方将联手开展新兴领域创新,以浙江区域为试点,打造具有典型示范意义的行业云安全解决方案、政企安全解决方案,政府、金融等行业隐私计算解决方案,以及面向政企客户的安全大模型标杆,并逐步向全国联合推广复制,共同构建云网安新生态。

封面图片

蚂蚁集团开放 AI 安全检测平台:集成 1000 多件专利、40 余种主流对抗算法9

蚂蚁集团开放AI安全检测平台:集成1000多件专利、40余种主流对抗算法9月1日下午,在上海“2022世界人工智能大会-可信AI论坛”现场,中国信通院、清华大学、蚂蚁集团联合发布AI安全检测平台“蚁鉴”,面向AI模型开发者提供从模型对抗测试到防御加固的一站式测评解决方案,帮助开发者一键识别和挖掘模型漏洞,打造更安全可靠的AI。记者了解到,这也是行业首个面向工业场景全数据类型的AI安全检测产品。该平台基于蚂蚁多年的风险对抗实践,集1000多件可信AI专利于一身,融合了自研的智能博弈对抗技术,可以实现文本、图像、表格、序列等不同数据类型的自动化测试、量化评分和安全性增强。蚂蚁集团大安全技术部总裁李俊奎介绍,该平台内嵌了自研的AI安全计算引擎,计算性能提升了数十倍;内置了40余种国内外主流及自研的攻击算法模型,通过模拟黑产及自动进化攻击手段,对AI模型“检测—防御—升级”,可有效发现AI模型漏洞,减少系统性风险;此外,该平台覆盖了对模型未知情况下的“随机噪声”、“迁移攻击”等攻击样本,更符合工业界应用的攻击评测基准。李俊奎说,该平台支持零编码测评,用户上传待测模型,选择攻击算法后,平台可自动化评估AI安全风险,全面加固模型算法。该平台现已开放AI模型鲁棒性测评,未来持续增加模型可解释性、算法公平性、隐私保护等特性的检测服务。来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

微软安全主管:生成式AI将在网络安全领域“大展身手”

微软安全主管:生成式AI将在网络安全领域“大展身手”她表示,“我们现在拥有生成式人工智能的超强能力,这将有助于我们以机器的速度和规模进行防御,尤其是在网络安全人才短缺的情况下。”同时她也强调,“我们还必须确保我们利用人工智能做真正的好事,因为它有能力提升人类的潜力,它将帮助我们解决最严重的挑战。”在网络犯罪愈发肆虐的当下,微软每秒就要遭遇4000次密码攻击,Jakkal透露。目前的网络安全威胁主要有两种:与地缘政治有关的间谍活动和金融网络犯罪,而Jakkal表示,微软可以使用数据来训练它的人工智能模型了解这些威胁。此外,Jakkal还指出,整个网络安全生态系统的合作对于打击网络犯罪也至关重要。她透露,目前微软正在与15000家公司和组织合作,300家安全供应商正在公司的平台上进行开发。“我们需要深入的合作和伙伴关系…没有一家公司能在没有其他公司的情况下做到这一点。”今年上半年,微软在其首届“MicrosoftSecure”大会上推出了一款定位于网络安全领域的新工具“SecurityCopilot”,专门用于对情报威胁进行检测和解析。SecurityCopilot通过易于使用的AI助手强化网络安全专业人员的工作,为防御者提供急需的工具,以快速检测和应对威胁。在本月早些时候举行的MicrosoftIgnite全球技术大会上,微软发布了SecurityCopilot的演示。微软的网络安全部门发展迅速,目前单独的估值超过200亿美元。周一,该公司的股价创下历史新高,收盘时达到378.61美元,公司市值达到2.8万亿美元。...PC版:https://www.cnbeta.com.tw/articles/soft/1400277.htm手机版:https://m.cnbeta.com.tw/view/1400277.htm

封面图片

网络安全进入 “AI 时代”:思科首发采用 AI 设计的安全系统 HyperShield

网络安全进入“AI时代”:思科首发采用AI设计的安全系统HyperShield思科首次发布新款安全系统HyperShield,这款安全新品采用人工智能(AI)技术来保护与数据中心、云、物理地址相关的应用软件、设备、以及数据。思科执行副总裁JeetuPatel表示,在开发HyperShield时考虑了ChatGPT因素。此前,思科在2024年稍早以280亿美元收购了企业科技巨头Splunk。

封面图片

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞

美国参议院推动人工智能安全法案旨在防止AI模型出现安全漏洞该中心将领导研究法案中所说的"反人工智能",即学习如何操纵人工智能系统的技术。该中心还将制定预防反人工智能措施的指南。该法案还将要求国家标准与技术研究院(NIST)和网络安全与基础设施安全局建立一个人工智能漏洞数据库,包括"近乎得手的漏洞"。华纳和蒂利斯提出的法案重点关注对抗人工智能的技术,并将其分为数据中毒、规避攻击、基于隐私的攻击和滥用攻击。数据中毒指的是在人工智能模型刮取的数据中插入代码,破坏模型输出的方法。它是防止人工智能图像生成器在互联网上复制艺术作品的一种流行方法。规避攻击会改变人工智能模型所研究的数据,以至于模型变得混乱。人工智能安全是拜登政府人工智能行政命令的关键项目之一,该命令指示美国国家标准与技术研究院(NIST)制定"红队"指导方针,并要求人工智能开发人员提交安全报告。所谓"红队"(redteaming),是指开发人员故意让人工智能模型对不应该出现的提示做出反应。理想情况下,人工智能模型的开发者会对平台进行安全测试,并在向公众发布之前对其进行广泛的红队测试。一些公司如微软已经创建了一些工具,帮助人工智能项目更容易地添加安全防护措施。《人工智能安全法案》在提交给更大范围的参议院审议之前,必须经过一个委员会的审议。...PC版:https://www.cnbeta.com.tw/articles/soft/1429345.htm手机版:https://m.cnbeta.com.tw/view/1429345.htm

封面图片

5月11日,华为政企部领导及团队莅临开普云交流,双方就AI大模型一体机、大模型安全风控等产品和业务进行了深入合作探讨。交流中,开

5月11日,华为政企部领导及团队莅临开普云交流,双方就AI大模型一体机、大模型安全风控等产品和业务进行了深入合作探讨。交流中,开普云展示了AI大模型一体机以及新一代AI内容安全风控产品“鸠摩智”。该产品实现了对大模型全流程的安全赋能,使得大模型从训练到应用推理服务全流程都能深度融合AI安全风控能力,实现大模型应用全流程安全可控。目前“鸠摩智”已投入市场,并在国家计算机网络应急技术处理协调中心成功部署,协助主管部门对大模型领域进行常态化监管。(证券时报)

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人