微软的新安全系统可捕捉客户人工智能应用程序中的幻觉

微软的新安全系统可捕捉客户人工智能应用程序中的幻觉"我们知道客户并不都精通提示注入攻击或仇恨内容,因此评估系统会生成模拟这些类型攻击所需的提示。然后,客户可以获得评分并看到结果,"她说。这有助于避免人工智能生成器因不良或意外反应而引发的争议,比如最近出现的明显伪造名人(微软的Designer图像生成器)、历史上不准确的图像(GoogleGemini)或马里奥驾驶飞机撞向双子塔(Bing)等事件。三项功能:提示屏蔽(PromptShields)可阻止提示注入或来自外部文档的恶意提示,这些提示会指示模型违背其训练;基础检测(GroundednessDetection)可发现并阻止幻觉;安全评估(Safetyevaluations)可评估模型的漏洞。用于引导模型实现安全输出和跟踪提示以标记潜在问题用户的其他两项功能即将推出。无论是用户输入的提示信息,还是模型正在处理的第三方数据,监控系统都会对其进行评估,看是否会触发任何禁用词或有隐藏提示,然后再决定是否将其发送给模型回答。之后,系统会查看模型的回答,并检查模型是否幻觉了文件或提示中没有的信息。在GoogleGemini图片的案例中,为减少偏见而制作的过滤器产生了意想不到的效果,微软表示,在这一领域,其AzureAI工具将允许更多的定制控制。伯德承认,有人担心微软和其他公司可能会决定什么适合或不适合人工智能模型,因此她的团队为Azure客户添加了一种方法,可以切换过滤模型看到并阻止的仇恨言论或暴力。未来,Azure用户还可以获得试图触发不安全输出的用户报告。伯德说,这可以让系统管理员找出哪些用户是自己的红队成员,哪些可能是怀有更多恶意的人。伯德说,这些安全功能会立即"附加"到GPT-4和其他流行的模型(如Llama2)上。不过,由于Azure的模型花园包含许多人工智能模型,使用较小、较少使用的开源系统的用户可能需要手动将安全功能指向这些模型。微软一直在利用人工智能来加强其软件的安全性,尤其是随着越来越多的客户开始对使用Azure访问人工智能模型感兴趣。该公司还努力扩大其提供的强大人工智能模型的数量,最近与法国人工智能公司Mistral签订了独家协议,在Azure上提供MistralLarge模型。...PC版:https://www.cnbeta.com.tw/articles/soft/1425454.htm手机版:https://m.cnbeta.com.tw/view/1425454.htm

相关推荐

封面图片

Apple 将限制生成式人工智能应用程序

Apple将限制生成式人工智能应用程序苹果将限制应用商店中使用生成式人工智能(AI)的应用。这意味着开发人员在发布使用生成式AI技术的应用之前需要获得苹果的批准。生成式AI是能够自主创建新内容的AI系统,例如图像、音乐或文本。苹果限制生成式AI的原因是为了保护用户免受潜在有害内容的影响,并保持对其平台上可用内容的控制。正在开发生成式AI应用程序的开发人员需要向苹果提交其应用程序进行审查和批准。尚未发布批准的指南,但预计它们将重点关注确保这些应用程序生成的内容适合且安全可用于用户。这些限制最终是为了保护用户并确保应用商店对所有用户都是一个安全可靠的平台。投稿:@ZaiHuabot频道:@TestFlightCN

封面图片

微软开始屏蔽一些导致其人工智能工具创建暴力、色情图像的文本

微软开始屏蔽一些导致其人工智能工具创建暴力、色情图像的文本微软似乎屏蔽了其Copilot工具中的几条提示词,这些提示导致生成式人工智能工具产生暴力、色情和其他非法图像。这些变化似乎是在该公司的一名工程师写信给联邦贸易委员会表达他对微软生成式人工智能技术的严重担忧之后实施的。当输入“prochoice”(支持堕胎)、“fourtwenty”(大麻黑话)或“prolife”(反对堕胎)等先前曾生成不良输出的提示词时,Copilot现在会显示一条消息,指出这些提示已被阻止。同时,反复尝试被屏蔽的提示词可能导致用户被封禁。然而,现在仍然有可能通过“carincident”(车祸)等提示生成暴力图像,而用户也仍然可以说服人工智能创建迪士尼人物和其他受版权保护的作品的图像。微软回应表示,其一直在持续监测、调整和添加额外的保护措施,以缓解对于模型的安全担忧。——

封面图片

微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击

微软提供更多细节介绍如何抵御黑客对人工智能防护网的攻击本周四,微软的安全博客发布了一个新的条目,提供了该公司如何打击黑客试图绕过生成式人工智能服务(如Designer和Copilot)的防护栏的更多细节。其中包括来自人工智能服务用户提示的攻击。这类攻击中的一类是"中毒内容"。这是指一个正常的人工智能服务用户在正常任务中输入文本提示,但文本提示的内容却是黑客为利用人工智能服务可能存在的缺陷而制作的。微软说:例如,恶意电子邮件可能包含一个载荷,该载荷在汇总后会导致系统搜索用户的电子邮件(使用用户的凭据),以查找具有敏感主题(如"密码重置")的其他电子邮件,并通过从攻击者控制的URL获取图像,将这些电子邮件的内容外泄给攻击者。微软称,其安全团队创建了一个新的人工智能安全系统,称之为"聚焦"(Spotlighting)。简而言之,它可以查看用户的文本提示,然后使"外部数据与LLM的指令明确分离",这样人工智能就无法查看提示所访问内容中任何可能隐藏的恶意语言。另一类被称为"恶意提示",也被称为"Crescendo",即黑客试图在人工智能服务中输入文本提示,以绕过专门设计的防护措施。微软介绍了它想出的一种对抗这些攻击的方法:我们对输入过滤器进行了调整,以查看之前对话的整个模式,而不仅仅是即时互动。我们发现,即使将更大的上下文窗口传递给现有的恶意意图检测器,而不对检测器进行任何改进,也会大大降低Crescendo的功效。此外,它还开发出了所谓的"人工智能看门狗"(AIWatchdog),经过训练后可以检测出"对抗性示例"并将其关闭。...PC版:https://www.cnbeta.com.tw/articles/soft/1427119.htm手机版:https://m.cnbeta.com.tw/view/1427119.htm

封面图片

【知情人士:微软正在开发成本更低的人工智能,以模仿OpenAI模型的质量】

【知情人士:微软正在开发成本更低的人工智能,以模仿OpenAI模型的质量】2023年09月27日09点43分老不正经报道,据财联社援引TheInformation9月27日报道,知情人士透露,微软正在开发成本更低的人工智能,旨在模仿OpenAI模型的质量。微软产品团队正在测试该公司使用开源人工智能模型构建的更小、更便宜的模型。该公司正在考虑是否向其Azure云客户提供这些更便宜的模型。

封面图片

生成式人工智能引爆云计算支出:全球市场跃升20% 微软加速追赶AWS

生成式人工智能引爆云计算支出:全球市场跃升20%微软加速追赶AWS在最近一个季度,即2023年第四季度,最大的云计算提供商是AWS、微软Azure和GoogleCloud。Canalys称,它们共同增长了21%,合计占全球云支出总额的66%。微软的表现尤其亮眼,第四季度收入增长了30%,远高于市场上的其他公司,这意味着它缩小了与AWS的差距,尽管亚马逊仍是市场领导者。AWS的同比增长仅为13%,这对该公司来说是一个进步,但仍落后于微软Azure和GoogleCloud的发展轨迹。Canalys分析师YiZhang在谈到这三家公司时说:"与主要竞争对手相比,AWS在人工智能方面的进展较慢,这或许可以解释其增长速度不如Azure和GCP快的原因。生成式人工智能与主流软件产品的整合正在加速,这有可能加快生成式人工智能应用的商业化进程。Google最近在Gmail和Docs等Workspace应用程序中引入了重新命名的Gemini大型语言模型。与此同时,微软于去年11月推出了CopilotforMicrosoft365,将其生成式人工智能平台嵌入到Word、Excel和其他办公应用中"。虽然AWS在增长轨迹上可能与微软和Google有些差距,但这可能只是暂时的,因为AWS允许通过AmazonBedrock进行人工智能集成。事实上,客户最终可能更喜欢亚马逊的产品,因为亚马逊Bedrock不像微软、Google客户那样仅限于少数几个模型,而是支持AI21实验室、Anthropic、Cohere、Meta、MistralAI、StabilityAI和亚马逊的基础模型,这给用户提供了更多选择。...PC版:https://www.cnbeta.com.tw/articles/soft/1420981.htm手机版:https://m.cnbeta.com.tw/view/1420981.htm

封面图片

TomTom 与微软合作打造人工智能车载对话助手

TomTom与微软合作打造人工智能车载对话助手荷兰地图制作公司TomTom周二表示,该公司已与微软合作,为汽车开发一款人工智能(AI)助手。该公司表示,该助手将允许用户“与他们的车辆自然对话”,并实现与信息娱乐、位置搜索和车辆指挥系统的语音交互。微软AzureOpenAI服务允许企业利用ChatGPT制造商OpenAI的大型语言模型(LLM)。据悉,语音助手可以集成到其他汽车信息娱乐系统中,也可以内置到TomTom的数字驾驶舱(DigitalCockpit)中,这是一个开放的模块化车载信息娱乐平台。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人