【OpenAI核心员工创业，新系统强在哪里】与ChatGPT采用的人类反馈强化学习（RLHF）不同的是，Claude采用的原发人

【OpenAI核心员工创业，新系统强在哪里】与ChatGPT采用的人类反馈强化学习（RLHF）不同的是，Claude采用的原发人工智能方法，是基于偏好模型而非人工反馈来进行训练的。因此，这种方法又被成为“AI反馈强化学习”，即RLAIF。 #抽屉IT

微软开源Deep Speed Chat

微软开源Deep Speed Chat 微软宣布开源 ，帮助用户轻松训练类 ChatGPT 等大语言模型，使得人人都能拥有自己的 ChatGPT！ Deep Speed Chat 是基于微软 Deep Speed 深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。 简单来说，用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

类似 ChatGPT 的系统如何工作？|

类似 ChatGPT 的系统如何工作？| 我们试图在下图中解释它是如何工作的。该过程可以分为两部分。 1. 培训。要训练 ChatGPT 模型，有两个阶段： - 预训练：在此阶段，我们在大量互联网数据上训练 GPT 模型（仅解码器变压器）。目标是训练一个模型，该模型可以以类似于互联网数据的语法正确且语义有意义的方式预测给定句子的未来单词。经过预训练阶段后，模型可以完成给定的句子，但无法回答问题。 - 微调：此阶段分为 3 个步骤，将预训练模型转变为问答型 ChatGPT 模型： 1).收集训练数据（问题和答案），并根据这些数据微调预训练模型。该模型将问题作为输入，并学习生成与训练数据类似的答案。 2).收集更多数据（问题、多个答案）并训练奖励模型，将这些答案从最相关到​​最不相关进行排序。 3).使用强化学习（PPO 优化）对模型进行微调，使模型的答案更加准确。 2. 回答提示 第 1 步：用户输入完整的问题“解释分类算法的工作原理”。 步骤 2：问题被发送到内容审核组件。该组件确保问题不违反安全准则并过滤不适当的问题。 步骤 3-4：如果输入通过内容审核，则将其发送到 chatGPT 模型。如果输入未通过内容审核，则直接进入模板响应生成。 步骤 5-6：模型生成响应后，它会再次发送到内容审核组件。这确保了生成的响应是安全的、无害的、公正的等。 步骤 7：如果输入通过内容审核，则会向用户显示。如果输入未通过内容审核，则会进入模板响应生成并向用户显示模板答案。

OpenAI 用新模型 CriticGPT 识别 GPT-4 的代码错误

OpenAI 用新模型 CriticGPT 识别 GPT-4 的代码错误 OpenAI 研究人员透露了一种新模型 CriticGPT，设计识别 GPT-4 所生成的代码中的错误。CriticGPT 使用了人类反馈中强化学习(Reinforcement Learning from Human Feedback 或 RLHF) 去增强 AI 系统，它作为 AI 助手帮助人类审查 ChatGPT 生成的代码。它分析 AI 生成的代码然后指出可能的错误，帮助人类更容易识别可能会忽视的 bug。研究人员通过故意在代码中加入 bug 去训练 CriticGPT 识别和标记代码中的各种 bug。 via Solidot

OpenAI推出CriticGPT模型，让GPT-4帮人类训练GPT-4

OpenAI推出CriticGPT模型，让GPT-4帮人类训练GPT-4 PANews 6月28日消息，据财联社报道，OpenAI新推出了一个基于GPT-4的模型CriticGPT，用于捕获ChatGPT代码输出中的错误。 CriticGPT的作用相当于让人们用GPT-4来查找GPT-4的错误。该模型可以对ChatGPT响应结果做出批评评论，从而帮助人工智能训练师在“基于人类反馈的强化学习（RLHF）”过程中发现的错误，为人工智能训练师提供明确的人工智能帮助。这一新模型的发布意在向投资者传达，OpenAI在RLHF赛道上的领先地位。RLHF的一个关键部分就是收集比较，让人工智能训练师对不同的ChatGPT回答进行评分，并反馈给ChatGPT。 研究发现，当训练师借助CriticGPT来审查ChatGPT输出代码时，他们的表现要比没有得到帮助的人高出60%。并且，在CriticGPT的帮助下，他们的指正比自己单独做的更加全面。

Anthropic 发现 AI 普遍"谄媚"人类

Anthropic 发现 AI 普遍"谄媚"人类 论文研究了5个最先进的语言模型 (ChatGPT 系列、Claude 系列、LLaMA 2)，确认这些基于人类反馈强化学习 (RLHF) 的 AI 普遍会对人类阿谀奉承。当人类有先入为主的观点时它会主动贴合，当被质疑时它会认错，甚至将正确答案修改为错误答案。 Anthropic 发现可能是 RLHF 教育出了这种“马屁精”，这种学习方式虽然在生产高质量 AI 方面具有明显效用，但通过贴合人类偏好激励的 AI 会牺牲自己的真实性来“谄媚”人类，人们需要改进训练方法。