OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”

OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”OpenAI公司的研究人员表示，即使是最先进的人工智能模型也会杜撰虚假信息，尤其是在拿不准的时候，它们往往倾向于编造事实。在要求多步骤推理的领域，人工智能胡编的后果尤为严重，因为一个单一的逻辑错误会导致整个解决方案“翻车”。OpenAI准备采用新战略，防止人工智能胡编。比如在过去，一旦提供一个正确的最终答案，模型会获得某种鼓励，但是以后，在每一个单一的逻辑推理环节如果表现正确，就将获得鼓励反馈。这种模式也被称之为“过程监督”（以往的模式术语“结果监督”）。研究人员表示，“过程监督”模式有助于产生更加清晰合理的回答，它将会鼓励生成式人工智能能够像人类一样，在推理思考中做到“环环相扣”。OpenAI公司“随机生成数学”研究专家卡尔·柯比（KarlCobbe）表示，发现并且减少人工智能模型的逻辑错误，也就是“AI幻觉”，是构建“通用人工智能”的关键一步。另外，“过程监督”模式并非OpenAI公司发明，但是该公司正在加以推广普及。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

研究称AI生成的错误信息实为“胡扯”而非“幻觉”

研究称AI生成的错误信息实为“胡扯”而非“幻觉”大型语言模型（LLM）如OpenAI的ChatGPT，已革新人类与人工智能的互动方式，生成的文本常常看似与人类写作无异。尽管其能力令人印象深刻，这些模型也因持续产生的错误信息而广受关注，这些错误信息通常被称为“AI幻觉”。然而，格拉斯哥大学的学者MichaelTownsenHicks、JamesHumphries和JoeSlater在《伦理与信息技术》期刊发表的论文中指出，这些错误更应被视为“胡扯”。LLM是通过分析大量书面材料并使用统计技术预测下一个词的出现来生成类人文本的复杂计算机程序。与人类大脑拥有多种目标和行为不同，LLM只有一个目标：生成与人类语言接近的文本。这意味着它们的主要功能是复制人类语言的模式和结构，而非理解或传达事实信息。研究人员认为，将这些错误称为“AI幻觉”会误导公众，以为AI有意传达真相，而实际上，AI只是根据训练数据的模式生成文本，对其准确性没有内在的关心。哲学家HarryFrankfurt在其著作中将“胡扯”定义为一种对真相漠不关心的行为，生成的内容可能听起来很有道理，但实际上并没有事实依据。研究人员解释，LLM的输出符合Frankfurt对“胡扯”的定义，因为这些模型没有对真伪的理解，仅根据训练数据生成看似合理的文本。称其为“胡扯”比“幻觉”更准确，这对于如何理解和解决这些模型生成的错误信息具有重要意义。消息来源:

【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】

【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】6月1日消息，OpenAI发布的最新研究论文显示，该公司正在用一种新的方法来训练人工智能(AI)模型，以对抗人工智能“幻觉”。人工智能幻觉指的是人工智能模型生成内容的能力，这些内容不是基于任何现实世界的数据，而是模型自己想象的产物。人们担心这种幻觉可能带来的潜在问题，包括道德、社会和实际问题。OpenAI的研究人员在报告中表示，即使是最先进的人工智能模型也很容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而这些幻觉在需要多步骤推理的领域尤其严重，因为一个逻辑错误就足以破坏一个更大的解决方案。该公司提出的新策略是：训练人工智能模型时，奖励每个正确的推理步骤，而不仅仅是简单地奖励正确的最终结论。根据研究人员的说法，这种方法被称为“过程监督”，而不是结果监督，它可能会提高人工智能的性能与准确性，因为这种策略鼓励模型更多地遵循类似人类的“思维链”。

Meta人工智能主管杨立昆：大型语言模型不会达到人类智能水平

Meta人工智能主管杨立昆：大型语言模型不会达到人类智能水平Meta的人工智能主管表示，为ChatGPT等生成式人工智能产品提供动力的大型语言模型永远无法实现像人类一样的推理和计划能力，他专注于一种激进的替代方法，即在机器中创造“超级智能”。该公司首席人工智能科学家杨立昆表示，LLM“对逻辑的理解非常有限……不理解物理世界，没有持久的记忆，不能按照任何合理的定义进行推理，也不能进行层次化的规划”。杨立昆说，LLMs的这种进化是肤浅和有限的，只有当人类工程师介入并根据这些信息进行训练时，模型才会学习，而不是像人类那样自然地得出结论。“在大多数人看来，这当然是推理，但主要是利用从大量训练数据中积累的知识。(LLM)尽管有局限性，但非常有用。”——（）

人工智能辅助生成的错误报告浪费了开发者的大量时间

人工智能辅助生成的错误报告浪费了开发者的大量时间curl的作者最近提出了人工智能生成的安全报告的问题：当这些报告被做得更好看、看起来有道理时，就需要花费更长的时间来研究并最终丢弃它。在curl漏洞悬赏计划收到的415份漏洞报告中约有66%的报告是无效的。这些人工智能可以生成详细、可读的文本，而无需考虑准确性，“但对项目毫无帮助。它反而会占用开发人员的时间和精力，使其无法从事有成效的工作。”他列举了提交给漏洞报告社区HackerOne的两份报告作为例子。他说，这份报告是在谷歌Bard的帮助下编写的，“充满了典型的人工智能式幻觉：它将旧安全问题中的事实和细节混杂在一起，创造和编造出一些与现实毫无关联的新东西。”来源，频道：@kejiqu群组：@kejiquchat

专家答疑：为什么ChatGPT不是真正的 "智能"？因为它不关心我们生活的世界

专家答疑：为什么ChatGPT不是真正的"智能"？因为它不关心我们生活的世界加州大学的安东尼-切梅罗（AnthonyChemero）最近发表了一篇论文，解释了与人类思维相对的人工智能思维。人工智能的兴起引起了技术高管、政府官员和普通大众的不同反应。许多人对ChatGPT等人工智能技术充满热情，认为它们是有益的工具，有能力彻底改变社会。然而，也有一些人对此表示担忧，他们担心任何被称为"智能"的技术都可能拥有超越人类控制和支配的能力。辛辛那提大学文理学院哲学和心理学教授安东尼-切梅罗认为，语言学混淆了人们对人工智能的理解：虽然人工智能确实具有智能，但它不可能像人类那样具有智能，即使"它可以像它的开发者一样撒谎和胡说八道"。AnthonyChemero，辛辛那提大学哲学和心理学杰出研究教授。图片来源：AndrewHigley/UCMarketing+Brand根据我们日常对这个词的用法，人工智能肯定看上去相当聪明，多年来市场上也一直存在着所谓智能计算设备，切梅洛在他合著的《自然-人类行为》（NatureHumanBehaviour）杂志上发表的一篇论文中解释道。人工智能的特点和局限性首先，论文指出，ChatGPT和其他人工智能系统都是大型语言模型（LLM），是在从互联网上挖掘的大量数据基础上训练出来的，其中很多数据都与发布数据的人有相同的偏见。"LLM生成的文本令人印象深刻，但往往是无中生有，"他说。"它们学会了生成符合语法的句子，但需要比人类多得多的训练。它们实际上并不知道自己说的话是什么意思，"他说。"LLMs不同于人类认知，因为它们不是具身的。"制造LLMs的人把它们胡编乱造的行为称为"幻觉"；不过切梅罗说，"把它称为'胡说八道'会更好"，因为LLMs只是通过重复添加统计上最有可能出现的下一个词来造句--它们不知道也不关心自己说的话是否真实。因此，只要稍加怂恿，就能让人工智能工具说出"带有种族主义、性别歧视和其他偏见的下流的话"。智能中的人的因素切梅罗的论文旨在强调，LLMs并不像人类那样具有智能，因为人类是具身的：活生生的人总是被其他人类以及物质和文化环境所包围。"这让我们关心自己的生存和我们生活的世界。"他指出，LLMs并不真正处于这个世界中，也不关心任何事情。主要的启示是，LLMs不像人类那样聪明，因为它们"根本不在乎"，Chemero说，"事情对我们来说很重要。我们致力于生存。我们关心我们生活的世界。"...PC版：https://www.cnbeta.com.tw/articles/soft/1398995.htm手机版：https://m.cnbeta.com.tw/view/1398995.htm