ChatGPT 的实际工作原理 | 自发布以来，公众一直在玩 ChatGPT，看看它能做什么，但 ChatGPT 实际上是如何工

ChatGPT 的实际工作原理 | 自发布以来，公众一直在玩 ChatGPT，看看它能做什么，但 ChatGPT 实际上是如何工作的？虽然其内部工作的细节尚未公布，但我们可以从最近的研究中拼凑出它的功能原理。 ChatGPT 是 OpenAI 的最新语言模型，对其前身 GPT-3 进行了重大改进。与许多大型语言模型类似，ChatGPT 能够生成各种样式和不同目的的文本，但具有更高的精度、细节和连贯性。它代表了OpenAI大型语言模型系列的下一代，其设计非常注重交互式对话。 创建者已经使用了监督学习和强化学习的组合来微调 ChatGPT，但正是强化学习组件使 ChatGPT 与众不同。创建者使用一种称为从人类反馈中强化学习 （RLHF） 的特定技术，该技术在训练循环中使用人类反馈来最大限度地减少有害、不真实和/或有偏见的输出。 在了解 RLHF 的工作原理并了解 ChatGPT 如何使用 RLHF 来克服这些问题之前，我们将研究 GPT-3 的局限性以及它们如何源于其训练过程。最后，我们将通过研究这种方法的一些局限性来结束。

研究发现虽然AI辅助编程可以发挥巨大作用 但也会因训练限制而陷入困境

研究发现虽然AI辅助编程可以发挥巨大作用 但也会因训练限制而陷入困境 虽然在某些情况下，人工智能生成器可以生成比人类更好的代码，但分析也揭示了人工智能生成的代码存在一些安全问题。Yutian Tang是格拉斯哥大学的一名讲师，他参与了这项研究。他指出，基于人工智能的代码生成可以在提高生产率和自动化软件开发任务方面提供一些优势，但重要的是要了解这些模型的优势和局限性。"通过进行全面分析，我们可以发现基于 ChatGPT 的代码生成过程中出现的潜在问题和限制......[并]改进生成技术。"Tang 解释说。为了更详细地探讨这些局限性，他的团队试图测试GPT-3.5解决LeetCode 测试平台上五种编程语言中 728 个编程问题的能力：这五种编程语言是：C、C++、Java、JavaScript 和Python。对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。总体而言，ChatGPT 在解决不同编程语言的问题方面表现相当出色，尤其是在尝试解决 2021 年之前 LeetCode 上存在的编程问题时。例如，它能为简单、中等和困难的问题生成功能代码，成功率分别约为 89%、71% 和 40%。"然而，当遇到 2021 年后的算法问题时，ChatGPT 生成功能正确的代码的能力就会受到影响。它有时无法理解问题的含义，即使是简单的问题也是如此，"Tang 指出。例如，在 2021 年之后，ChatGPT 为"简单"编程问题生成功能代码的能力从 89% 降至 52%。而在 2021 年之后，它为"难"问题生成功能代码的能力也从 40% 降至 0.66%。对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。从本质上讲，随着编程技术的发展，ChatGPT 还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到过的问题。这也解释了为什么 ChatGPT 在解决旧的编程问题方面比解决新的问题要好得多。因此，ChatGPT可能会生成错误的代码，因为它不理解算法问题的含义。有趣的是，ChatGPT 生成的代码的运行时间和内存开销比人类解决相同 LeetCode 问题的至少 50% 的方案都要小。研究人员还探索了 ChatGPT 在收到 LeetCode 的反馈后修正自身编程错误的能力。他们随机选取了 50 个编程场景，在这些场景中，ChatGPT 最初生成了错误的编程，原因可能是它不了解手头的内容或问题。虽然 ChatGPT 擅长修正编译错误，但它通常不擅长纠正自己的错误。Tang 解释说："ChatGPT 可能会因为不理解算法问题的含义而生成错误代码，因此这种简单的错误反馈信息是不够的。"研究人员还发现，ChatGPT 生成的代码确实存在相当多的漏洞，比如缺失空值测试，但其中很多都很容易修复。研究结果还显示，用 C 语言生成的代码最为复杂，其次是 C++ 和 Python，其复杂程度与人类编写的代码类似。基于这些结果，使用 ChatGPT 的开发人员必须提供更多信息，以帮助 ChatGPT 更好地了解问题或避免漏洞。"例如，在遇到比较复杂的编程问题时，开发人员可以尽可能提供相关知识，并在提示中告诉 ChatGPT 哪些是需要注意的潜在漏洞，"Tang 说。 ... PC版： 手机版：

除了最近大火的ChatGPT外，AI到底还能帮我们做什么？

除了最近大火的ChatGPT外，AI到底还能帮我们做什么？ 挑了一些好用的推荐给大家： 【AI 绘画】 Midjourney： Stable Diffusion： DALL·E 2： 【代码生成】 Copilot： Codeium： Replit： 【AI辅助写作】 ChatGPT： Craft： Notion： Compose AI： copy.ai： Jasper： copysmith： 【PPT生成】 Tome： 【语音/视频合成】 Murf AI： Resemble AI： Synthesia： Adobe Podcast：

为什么马斯克要叫停GPT的开发？ChatGPT会深陷道德伦理泥潭吗？

为什么马斯克要叫停GPT的开发？ChatGPT会深陷道德伦理泥潭吗？ 在这篇文章里，我们会解析LLM的本质，OpenAI是如何过滤有害信息，以及我们可以怎么绕过这样的过滤器。然后我们会继续深入分析用ChatGPT生成诈骗信息的经济效益如何，以及未来的LLM安全规范。 Enjoy：）

纽约时报：为什么中国没有诞生 ChatGPT ？

纽约时报：为什么中国没有诞生 ChatGPT ？ 就在几年前，中国有望挑战美国在人工智能领域的主导地位。 由于拥有丰富的数据、求知若渴的企业家、技术娴熟的科学家和支持性政策，力量平衡正在向中国倾斜。 该国在与人工智能相关的专利申请方面处于世界领先地位。 今天，情况发生了很大变化。 微软美国科技的标志帮助初创公司 OpenAI 将其实验性聊天机器人 ChatGPT 推向了世界。 中国的科技企业家感到震惊和沮丧。 他们中的许多人已经意识到，尽管大肆宣传，但中国在人工智能和技术创新方面远远落后。 “为什么 ChatGPT 不是在中国发明的？” 他们问过。 “中美ChatGPT差距有多大？” “中国版的 ChatGPT？ 别太认真了。” 他们还提出了有关中国创新环境的更基本问题：审查制度、地缘政治紧张局势和政府对私营部门日益加强的控制是否使中国对创新变得不那么友好了？ “任何重大科技产品的发展，都离不开它所处的体制和环境，”斯坦福中国经济与制度中心高级研究学者许成钢说。 “一旦开放环境消失，创造这样的产品将充满挑战，”他说。 （）

【书名】这就是ChatGPT

【书名】这就是ChatGPT 【作者】斯蒂芬·沃尔弗拉姆 【格式】#epub #mobi #azw3 #pdf 【分类】#人工智能 #AI #2023新书 【简介】ChatGPT是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出，能够自动生成一些表面上看起来像人类写出的文字的东西，是一件很厉害且出乎大家意料的事。那么，它是如何做到的呢？又是为何能做到的呢？本书会大致介绍ChatGPT的内部机理，然后探讨一下为什么它能很好地生成我们认为是有意义的文本。本书适合想了解ChatGPT的所有人阅读。