微软开发工具以防 Ai 聊天机器人被教坏
微软开发工具以防Ai聊天机器人被教坏微软(MSFT.O)正努力防止人们欺骗Ai聊天机器人做出奇怪的事情。微软公司周四在一篇博客文章中表示,AzureAIStudio正在内置新的安全功能,允许开发人员使用自己的数据构建定制的人工智能助手。这些工具包括“提示词防护盾”(PromptShields),旨在检测和阻止企图使人工智能模型以意想不到的方式运行的“提示词攻击”或“越狱”。微软还解决了“间接提示词输入”问题,即黑客将恶意指令插入模型所训练的数据中,并诱使其执行诸如窃取用户信息或劫持系统等未经授权的操作。微软负责人工智能的首席产品官SarahBird说,这种攻击是“一种独特的挑战和威胁”。她说,新的防御措施旨在发现可疑输入并实时阻止它们。微软还推出了一项新功能,当Ai模型编造东西或产生错误反应时,它会提醒用户。