OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”

OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”OpenAI公司的研究人员表示，即使是最先进的人工智能模型也会杜撰虚假信息，尤其是在拿不准的时候，它们往往倾向于编造事实。在要求多步骤推理的领域，人工智能胡编的后果尤为严重，因为一个单一的逻辑错误会导致整个解决方案“翻车”。OpenAI准备采用新战略，防止人工智能胡编。比如在过去，一旦提供一个正确的最终答案，模型会获得某种鼓励，但是以后，在每一个单一的逻辑推理环节如果表现正确，就将获得鼓励反馈。这种模式也被称之为“过程监督”（以往的模式术语“结果监督”）。研究人员表示，“过程监督”模式有助于产生更加清晰合理的回答，它将会鼓励生成式人工智能能够像人类一样，在推理思考中做到“环环相扣”。OpenAI公司“随机生成数学”研究专家卡尔·柯比（KarlCobbe）表示，发现并且减少人工智能模型的逻辑错误，也就是“AI幻觉”，是构建“通用人工智能”的关键一步。另外，“过程监督”模式并非OpenAI公司发明，但是该公司正在加以推广普及。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

人工智能的错误不是“幻觉”，而是“一本正经地胡说八道”

人工智能的错误不是“幻觉”，而是“一本正经地胡说八道”格拉斯哥大学的研究人员最近指出，人工智能生成的不准确内容，最好被理解为“胡说八道”（bullshit），而非“幻觉”（hallucinations）。相较于多线程的人类大脑，LLMs目标更为单一：生成与人类语言非常相似的文本，即复制人类言语和写作模式和结构，而非理解或传达事实信息。“AI幻觉”这一术语表明LLMs存在感知错误，类似于人类看到不存在的东西。然而，一些学者认为这个比喻具有误导性，因为它暗示人工智能有感知和传达真理的视角或意图，但它们并没有信念、意图或理解——模型只是纯粹根据从训练数据中得出的统计模式对文本进行处理，而非关注事实性。这也就让LLMs看起来在“胡言乱语”：其言论看似有理，但却没有任何事实依据。研究最后指出，AI产生的错误称为“幻觉”并不是无害的，因为这会让人感到困惑，误以为机器在某种程度上产生了误解，但仍然试图传达它们相信或已经感知到的东西。关注频道@ZaiHuaPd频道爆料@ZaiHuabot