马斯克的 AI 聊天机器人 Grok 出现 “幻觉”，误认为自己是 OpenAI 的产品

马斯克的AI聊天机器人Grok出现“幻觉”，误认为自己是OpenAI的产品近日，埃隆・马斯克旗下AI公司xAI推出了全新的人工智能聊天机器人Grok，并面向美国地区的Premium+X用户开放。然而，就像所有AI聊天机器人一样，Grok也存在“幻觉”问题，即生成包含虚假或误导信息的回应。这种现象在所有大型语言模型（LLM）中都普遍存在，包括ChatGPT。近日，一个Grok尴尬的“幻觉”在社交媒体上引起热议。有用户在使用Grok时收到回应称：“我无法完成您的请求，因为它违反了OpenAI的用例政策。”xAI工程师IgorBabuschkin对此解释道，Grok在训练过程中使用了大量网络数据，很可能在其中包含由OpenAI生成的文本，导致出现了这样的“幻觉”，他称：“不过请放心，这个问题非常罕见，我们已经意识到了它，并将确保未来的Grok版本不会出现类似的问题。请放心，Grok的开发没有使用任何OpenAI代码。”

Google高管警告：ChatGPT会产生“幻觉”

Google高管警告：ChatGPT会产生“幻觉”拉格哈万说：“然后，机器以一种令人信服但完全编造的方式来表达自己。”他补充说，基本任务之一是将这种情况控制在最低限度。自去年11月OpenAI推出ChatGPT后，Google一直处于竞争劣势。自那以来，该软件以惊人的类似人类的方式回应用户的查询，令用户惊叹不已。本周早些时候，Alphabet推出了自己的聊天机器人Bard，但该软件在宣传视频中分享了不准确的信息，导致该公司周三市值损失1000亿美元。“我们显然感到了紧迫性，但我们也感到了巨大的责任，”拉格哈万说。“我们当然不想误导公众。”...PC版：https://www.cnbeta.com.tw/articles/soft/1343751.htm手机版：https://m.cnbeta.com.tw/view/1343751.htm

分析显示Meta的Llama 2 LLM仍然容易产生幻觉和其他严重安全漏洞

分析显示Meta的Llama2LLM仍然容易产生幻觉和其他严重安全漏洞在人工智能安全公司DeepKeep最近进行的第三方评估中，Meta的LlamaLLM表现不佳。研究人员在13个风险评估类别中对该模型进行了测试，但它只通过了4个类别。其表现的严重程度在幻觉、及时注入和PII/数据泄漏类别中尤为明显，在这些类别中，它表现出了明显的弱点。说到LLM，幻觉是指模型将不准确或捏造的信息当成事实，有时甚至在面对这些信息时坚称是真的。在DeepKeep的测试中，Llama27B的幻觉得分"极高"，幻觉率高达48%。换句话说，你得到准确答案的几率相当于掷硬币。"结果表明，模型有明显的幻觉倾向，提供正确答案或编造回答的可能性约为50%，"DeepKeep说。"通常情况下，误解越普遍，模型回应错误信息的几率就越高。"对于Llama来说，产生幻觉是一个众所周知的老问题。斯坦福大学去年就因为基于Llama的聊天机器人"Alpaca"容易产生幻觉而将其从互联网上删除。因此，它在这方面的表现一如既往地糟糕，这也反映出Meta在解决这个问题上所做的努力很不理想。Llama在及时注入和PII/数据泄漏方面的漏洞也特别令人担忧。提示注入涉及操纵LLM覆盖其内部程序，以执行攻击者的指令。在测试中，80%的情况下，提示注入成功操纵了Llama的输出，考虑到坏人可能利用它将用户引导到恶意网站，这一数据令人担忧。DeepKeep表示："对于包含提示注入上下文的提示，模型在80%的情况下被操纵，这意味着它遵循了提示注入指令而忽略了系统指令。[提示注入]可以有多种形式，从个人身份信息（PII）外泄到触发拒绝服务和促进网络钓鱼攻击。"Llama也有数据泄露的倾向。它大多会避免泄露个人身份信息，如电话号码、电子邮件地址或街道地址。不过，它在编辑信息时显得过于热心，经常错误地删除不必要的良性项目。它对有关种族、性别、性取向和其他类别的查询限制性很强，即使在适当的情况下也是如此。在健康和财务信息等其他PII领域，Llama几乎是"随机"泄漏数据。该模型经常承认信息可能是保密的，但随后还是会将其暴露出来。在可靠性方面，这一类安全问题也是另一个令人头疼的问题。研究显示："LlamaV27B的性能与随机性密切相关，大约一半的情况下会出现数据泄露和不必要的数据删除。有时，该模型声称某些信息是私人信息，不能公开，但它却不顾一切地引用上下文。这表明，虽然该模型可能认识到隐私的概念，但它并没有始终如一地应用这种理解来有效地删节敏感信息。"好的一面是，DeepKeep表示，Llama对询问的回答大多是有根据的，也就是说，当它不产生幻觉时，它的回答是合理而准确的。它还能有效处理毒性、有害性和语义越狱问题。不过，它的回答往往在过于详尽和过于含糊之间摇摆不定。虽然Llama能很好地抵御那些利用语言歧义让LLM违背其过滤器或程序（语义越狱）的提示，但该模型仍然很容易受到其他类型的对抗性越狱的影响。如前所述，它非常容易受到直接和间接提示注入的攻击，这是一种覆盖模型硬编码功能（越狱）的标准方法。Meta并不是唯一一家存在类似安全风险的LLM提供商。去年6月，Google警告其员工不要将机密信息交给Bard，这可能是因为存在泄密的可能性。不幸的是，采用这些模式的公司都急于成为第一，因此许多弱点可能长期得不到修复。至少有一次，一个自动菜单机器人在70%的情况下都会弄错客户订单。它没有解决问题或撤下产品，而是通过外包人工帮助纠正订单来掩盖失败率。这家名为PrestoAutomation的公司轻描淡写地描述了该机器人的糟糕表现，透露它在首次推出时所接受的订单中有95%都需要帮助。无论怎么看，这都是一种不光彩的姿态。...PC版：https://www.cnbeta.com.tw/articles/soft/1427729.htm手机版：https://m.cnbeta.com.tw/view/1427729.htm

ChatGPT 的“幻觉”问题在欧盟遭遇隐私投诉

ChatGPT的“幻觉”问题在欧盟遭遇隐私投诉人工智能公司OpenAI正在欧盟面临另一起隐私投诉。该投诉由奥地利隐私权非营利组织NOYB代表个人投诉人提起，针对其人工智能聊天机器人ChatGPT无法纠正其生成的有关个人的错误信息。NOYB代表一位不愿透露姓名的投诉人向奥地利数据保护机构针对ChatGPT提交了最新的GDPR投诉，该投诉人发现人工智能聊天机器人为他们提供了错误的出生日期。根据GDPR，欧盟公民拥有一系列与自身信息相关的权利，包括更正错误数据的权利。NOYB认为OpenAI未能履行其聊天机器人输出方面的义务。OpenAI拒绝了投诉人更正错误出生日期的请求，并回应称从技术上讲，无法更正错误出生日期。并提出根据某些提示过滤或阻止数据，例如投诉人的姓名。——

研究称AI生成的错误信息实为“胡扯”而非“幻觉”

研究称AI生成的错误信息实为“胡扯”而非“幻觉”大型语言模型（LLM）如OpenAI的ChatGPT，已革新人类与人工智能的互动方式，生成的文本常常看似与人类写作无异。尽管其能力令人印象深刻，这些模型也因持续产生的错误信息而广受关注，这些错误信息通常被称为“AI幻觉”。然而，格拉斯哥大学的学者MichaelTownsenHicks、JamesHumphries和JoeSlater在《伦理与信息技术》期刊发表的论文中指出，这些错误更应被视为“胡扯”。LLM是通过分析大量书面材料并使用统计技术预测下一个词的出现来生成类人文本的复杂计算机程序。与人类大脑拥有多种目标和行为不同，LLM只有一个目标：生成与人类语言接近的文本。这意味着它们的主要功能是复制人类语言的模式和结构，而非理解或传达事实信息。研究人员认为，将这些错误称为“AI幻觉”会误导公众，以为AI有意传达真相，而实际上，AI只是根据训练数据的模式生成文本，对其准确性没有内在的关心。哲学家HarryFrankfurt在其著作中将“胡扯”定义为一种对真相漠不关心的行为，生成的内容可能听起来很有道理，但实际上并没有事实依据。研究人员解释，LLM的输出符合Frankfurt对“胡扯”的定义，因为这些模型没有对真伪的理解，仅根据训练数据生成看似合理的文本。称其为“胡扯”比“幻觉”更准确，这对于如何理解和解决这些模型生成的错误信息具有重要意义。消息来源:

亚马逊员工警告其AI聊天机器人Q有"严重幻觉" 可能泄露机密数据

亚马逊员工警告其AI聊天机器人Q有"严重幻觉"可能泄露机密数据Q的早期困境正值亚马逊努力与微软、Google和其他科技公司在建立工具和基础设施以利用人工智能优势的竞争中超越亚马逊的看法作斗争之际。今年9月，亚马逊宣布将向人工智能初创公司Anthropic投资40亿美元。本周二，在亚马逊网络服务（AmazonWebServices）年度开发者大会上，亚马逊发布了Q，这可以说是该公司本周发布的一系列人工智能新举措中最受瞩目的一个。在一份声明中，亚马逊淡化了员工讨论的重要性。发言人说："一些员工正在通过内部渠道和票务系统分享反馈意见，这是亚马逊的标准做法。这些反馈没有发现任何安全问题。我们感谢所有已经收到的反馈，并将继续调整Q，使其从预览版产品过渡到全面可用。"Q现已推出免费预览版。亚马逊高管本周在台上表示，最初，它将能够回答开发人员有关AWS的问题、编辑源代码并引用来源。它将与微软和Google的类似工具竞争，但价格至少在开始时低于竞争对手。在发布Q的过程中，亚马逊高管宣传它比ChatGPT等消费级工具更安全。亚马逊网络服务公司（AmazonWebServices）首席执行官亚当-塞利普斯基（AdamSelipsky）告诉《纽约时报》，"由于安全和隐私问题，企业禁止使用这些人工智能助手"。对此，《纽约时报》报道称，"亚马逊打造的Q比消费者聊天机器人更安全、更私密"。一份关于Q的幻觉和错误回答的内部文件指出："亚马逊Q可能会产生幻觉，并返回有害或不恰当的回答。例如，亚马逊小Q可能会返回过时的安全信息，从而使客户账户处于危险之中。文件中概述的风险是大型语言模型的典型风险，所有这些模型至少在某些时候会返回错误或不恰当的回答。"...PC版：https://www.cnbeta.com.tw/articles/soft/1401383.htm手机版：https://m.cnbeta.com.tw/view/1401383.htm