微软向公众发布内部生成式AI红队工具

微软向公众发布内部生成式AI红队工具 本周四,微软发布了用于生成式人工智能的 Python 风险识别工具包(PyRIT),微软的人工智能红队一直在使用该工具检查包括Copilot 在内的基因人工智能系统的风险。博文称,在过去的一年中,微软与 60 多个高价值的基因人工智能系统进行了红组,从中了解到这些系统的红组过程与经典人工智能或传统软件有很大不同。这一过程看起来有所不同,因为微软除了要考虑通常的安全风险外,还要考虑负责任的人工智能风险,例如确保不会故意生成有害内容,或确保模型不会输出虚假信息。此外,基因人工智能模型的架构千差万别,同样的输入可能产生不同的结果,因此很难找到一个适合所有模型的简化流程。因此,手动探测所有这些不同的风险最终会成为一个耗时、乏味和缓慢的过程。微软分享说,自动化可以帮助红色团队识别需要更多关注的风险领域,并将常规任务自动化,这正是 PyRIT 的用武之地。该工具包"经过了微软人工智能团队的实战检验",它向生成式人工智能系统发送恶意提示,一旦收到回应,其评分代理就会给系统打分,然后根据之前的评分反馈发送新的提示。微软表示,PyRIT 的最大优势在于它帮助微软红人团队提高了工作效率,大大缩短了任务所需的时间。微软在新闻稿中说:"例如,在我们对 Copilot 系统进行的一次红队演习中,我们能够选择一个危害类别,生成几千个恶意提示,并使用 PyRIT 的评分引擎来评估 Copilot 系统的输出,这一切只需要几个小时而不是几周的时间。"该工具包即日起可供访问,其中包括一系列演示,帮助用户熟悉该工具: PyRIT的网络研讨会,演示如何在红队生成式人工智能系统中使用 PyRIT。 ... PC版: 手机版:

相关推荐

封面图片

Stability AI 发布草图到图像生成 AI 工具

Stability AI 发布草图到图像生成 AI 工具 Stability AI Ltd.今天推出了Stable Doodle,进一步丰富了其生成式人工智能工具库。 该公司表示,这是一款草图到图像工具,可以将简单的草图转换为更动态的图像,它的目标受众是从创意专业人士到业余艺术家的所有人。 该公司表示,Stable Doodle 可供专业人士和新手使用,并且不需要熟悉人工智能工具。用户只需勾画出基本草图并上传,模型就会根据用户的选择将其转换为专业的卡通风格动画、折纸模型甚至逼真的图像。

封面图片

苹果收购DarwinAI iOS 18将对生成式AI进行重大更新

苹果收购DarwinAI iOS 18将对生成式AI进行重大更新 苹果收购 DarwinAI 后,DarwinAI 的网站和社交媒体账户已经下线。数十家前 DarwinAI 公司的员工现已并入苹果公司的人工智能部门。人工智能研究员亚历山大-黄(Alexander Wong)曾帮助建立 DarwinAI,现在是苹果公司人工智能部门的董事。苹果公司在确认此次收购时,通常会在被问及收购事宜时发表这样的声明。"苹果时不时会收购一些小型科技公司",但不会讨论其目的或计划。为了在人工智能市场追赶微软、Google等公司,苹果正在努力为其下一代 iOS 18 和 macOS 15 操作系统打造人工智能功能。显而易见,如果苹果想与微软必应、OpenAI 的 ChatGPT 和其他生成式人工智能产品相抗衡,就需要将生成式人工智能集成到一系列产品中。苹果正在测试大型语言模型,据说 Siri、快捷方式、信息、Apple Music 等都将使用人工智能功能。出于保护隐私的考虑,苹果正致力于让人工智能功能在设备上运行,而 DarwinAI 在制造小型人工智能系统方面所做的努力将有助于推动这一努力。苹果公司首席执行官蒂姆-库克(Tim Cook)曾承诺,苹果将在 2024 年在生成式人工智能领域"开辟新天地"。库克说:"我们相信,它将为我们的用户带来变革性的机遇。" ... PC版: 手机版:

封面图片

欧委会对微软发出警示 可能因Gen AI风险信息缺失开罚数十亿美元

欧委会对微软发出警示 可能因Gen AI风险信息缺失开罚数十亿美元 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 早在今年 3 月,欧盟就要求微软和其他一些科技巨头提供有关生成式人工智能工具所带来的系统性风险的信息,但周五欧盟委员会表示,微软未能提供它所要求的一些文件。该局要求该公司在 5 月 27 日前提供所需的数据,否则将面临执法风险。DSA规定的罚款最高可达全球收入的6%但在回应正式信息请求(RFI)时提供的不正确、不完整或误导性信息可导致1%的单独罚款。在微软的案例中,罚款总额可能高达几十亿美元。DSA 规定的大型平台的系统性风险义务由委员会自行监督。今天,微软因未能提供所要求的信息而受到委员会的书面警告,而这正是委员会强大的执法工具箱的一部分,对微软而言,这些工具箱可能比因未能按要求提供数据而受到谴责所带来的声誉损失要大得多。委员会说,它缺少微软提供的与其搜索引擎必应的人工智能生成功能有关的风险信息特别是必应的人工智能助手"Copilot in Bing"和图像生成工具"Image Creator by Designer"。欧盟表示,它尤其关注这些工具可能对公民言论和选举进程造成的风险。委员会要求微软在 5 月 27 日之前提供缺失的信息,否则将面临 1% 的罚款。如果该公司届时未能提供数据,委员会还可能对其处以最高达日均收入或全球年营业额 5%的"定期处罚"这将进一步增加微软在这一问题上可能承担的数十亿美元的债务。其搜索引擎必应早在2023 年 4 月就被欧盟 DSA 指定为所谓的超大型在线搜索引擎 (VLOSE),这意味着它要承担额外的义务,以降低虚假信息等系统性风险。DSA 要求大型平台承担减少虚假信息的义务,这将生成式人工智能技术置于了重要位置,因为科技巨头们一直走在将 GenAI 嵌入其主流平台的最前沿尽管存在一些明显的缺陷,例如大型语言模型(LLM)倾向于编造信息,同时将其作为事实呈现。人工智能驱动的图像生成工具也被证明会产生带有种族偏见或其他潜在危害的输出,如误导性的深度伪造。与此同时,欧盟下个月即将举行大选,这让布鲁塞尔的人们开始关注由人工智能推动的政治虚假信息。委员会在一份新闻稿中写道:"之所以要求必应提供信息,是因为怀疑必应可能违反了 DSA,存在与生成式人工智能相关的风险,如所谓的'幻觉'、深度伪造的病毒式传播,以及可能误导选民的自动操纵服务。""根据DSA,包括Bing在内的指定服务必须进行充分的风险评估,并采取相应的风险缓解措施(DSA第34条和第35条)。生成式人工智能是欧盟委员会在其选举程序完整性准则中确定的风险之一,尤其是针对即将于 6 月举行的欧洲议会选举而言。" ... PC版: 手机版:

封面图片

微软在 Bing 和 Edge 推出新的AI购物工具

微软在 Bing 和 Edge 推出新的AI购物工具 微软今天(美国当地时间)宣布推出一系列新的人工智能购物工具,用于其新必应搜索引擎和 Edge 侧边栏中的 Bing AI 聊天机器人。虽然微软多年来在 Edge 中内置的许多购物功能并不完全是粉丝的最爱,但这套新工具实际上看起来很有用。 例如,当您使用“大学用品”等查询时,微软现在将使用 Bing 的 GPT 支持的人工智能功能自动生成购买指南。它将自动聚合其提供的每个类别中的产品,列出它们的规格,以便您可以比较类似的商品,当然,还会告诉您在哪里购买它们(当您购买时,微软会收取联属费用)。 鉴于有一个完整的网站生态系统专注于此类购买指南,看看他们将如何应对这一变化将会很有趣(如果微软在 Bing 中这样做,谷歌和其他公司肯定会效仿)。

封面图片

Hugging Face发布生成式AI健康任务测试基准

Hugging Face发布生成式AI健康任务测试基准 人工智能初创公司 Hugging Face 在最新发布的名为 Open Medical-LLM 的基准测试中提出了一种解决方案。Open Medical-LLM 是与非营利组织开放生命科学人工智能(Open Life Science AI)和爱丁堡大学自然语言处理小组的研究人员合作创建的,旨在对生成式人工智能模型在一系列医疗相关任务中的性能进行标准化评估。Open Medical-LLM 本身并不是一个全新的基准,而是将现有的测试集(MedQA、PubMedQA、MedMCQA 等)拼接在一起,旨在探究医学常识和相关领域(如解剖学、药理学、遗传学和临床实践)的模型。该基准包含要求医学推理和理解的选择题和开放式问题,借鉴了美国和印度医学执照考试和大学生物试题库等材料。Hugging Face在一篇博文中写道:"[开放医学-LLM]使研究人员和从业人员能够识别不同方法的优缺点,推动该领域的进一步发展,并最终促进更好的患者护理和治疗效果。"Hugging Face 将该基准定位为对医疗领域生成式人工智能模型的"稳健评估"。但社交媒体上的一些医学专家告诫说,不要对 Open Medical-LLM 抱有过高期望,以免导致不明智的部署。阿尔伯塔大学神经病学住院医生利亚姆-麦考伊(Liam McCoy)在"X"上指出,医学答疑的"人为环境"与实际临床实践之间的差距可能相当大。博文的共同作者、"Hugging Face"研究科学家 Clémentine Fourrier 对此表示赞同。"这些排行榜只应作为针对特定用例探索哪种[生成式人工智能模型]的第一近似值,但随后始终需要进行更深入的测试阶段,以检验模型在真实条件下的局限性和相关性,"Fourrier在 X 上回答说,"医疗[模型]绝对不应该由患者自行使用,而应该经过培训,成为医学博士的辅助工具。"这不禁让人想起Google在泰国尝试将糖尿病视网膜病变的人工智能筛查工具引入医疗系统时的经历。Google创建了一个深度学习系统,可以扫描眼睛图像,寻找视网膜病变的证据,视网膜病变是导致视力丧失的主要原因。但是,尽管理论上具有很高的准确性,该工具在实际测试中被证明并不实用,结果不一致,与实际操作普遍不协调,令患者和护士都感到沮丧。美国食品和药物管理局迄今已批准了 139 种与人工智能相关的医疗设备,其中没有一种使用了生成式人工智能,这很能说明问题。要测试生成式人工智能工具在实验室中的表现如何转化到医院和门诊中,或许更重要的是测试其结果如何随时间变化,这异常困难。这并不是说 Open Medical-LLM 没有用处或信息量不大。结果排行榜可以提醒人们,模型对基本健康问题的回答有多么糟糕。但是,Open Medical-LLM 以及其他任何基准都无法替代经过深思熟虑的真实世界测试。 ... PC版: 手机版:

封面图片

帮开发者构建生成式 AI 应用,Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式 AI 应用,Meta 和微软合作推出开源模型 Llama 2 Meta 和微软近日合作推出 Llama 2,这是 Meta 公司的下一代开源大型语言模型,可以免费用于研究和商业用途。 微软在新闻稿中表示,Llama 2 旨在帮助开发者和组织,构建生成式人工智能工具和体验。 Azure 客户可以在 Azure 平台上更轻松、更安全地微调和部署 7B、13B 和 70B 参数的 Llama 2 模型,此外通过优化可以在 Windows 本地运行。 Llama 2 模型与 Azure AI 的结合使开发人员能够利用 Azure AI 的强大工具进行模型训练、微调、推理,特别是支持 AI 安全的功能。 微软表示在 Windows 中加入 Llama 2 模型,有助于推动 Windows 成为开发人员根据客户需求构建人工智能体验的最佳场所,并释放他们使用 Windows Subsystem for Linux (WSL)、Windows 终端、Microsoft Visual Studio 和 VS Code 等世界级工具进行构建的能力。 、 、

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人