ChatGPT 的编程问题正确率比抛硬币还低

ChatGPT 的编程问题正确率比抛硬币还低 普渡大学的一项研究显示，OpenAI 的聊天机器人 ChatGPT 在回答软件编程问题时，有一半以上的时间会回答错误。尽管如此，该机器人的说服力足以骗过三分之一的参与者。 普渡大学团队分析了 ChatGPT 对 517 个 Stack Overflow 问题的回答，以评估 ChatGPT 回答的正确性、一致性、全面性和简洁性。美国学者还对答案进行了语言和情感分析，并就模型生成的结果询问了十几名志愿参与者。 “我们的分析表明，52% 的 ChatGPT 答案是错误的，77% 是冗长的，”该团队的论文总结道。“尽管如此，ChatGPT 答案仍有 39.34% 的时间因其全面性和清晰的语言风格而受到青睐。” “在研究过程中，我们观察到，只有当 ChatGPT 答案中的错误很明显时，用户才能识别出错误，”论文中说到。“然而，当错误不容易验证或需要外部 IDE 或文档时，用户往往无法识别错误或低估答案的错误程度。” 论文称，即使答案存在明显错误，12 名参与者中仍有两人将答案标记为首选。 、

研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略

研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略 在研究中，研究人员查看了 Stack Overflow 中的 517 个问题，并分析了 ChatGPT 对这些问题的回答尝试。研究人员表示：“我们发现 52% 的 ChatGPT 答案包含错误信息，77% 的答案比人类的答案更冗长。”尤其令人不安的是，许多人类程序员似乎更喜欢 ChatGPT 的答案。普渡大学的研究人员对 12 名程序员进行了调查诚然，样本量很小 发现他们中 39% 的人没有发现人工智能产生的错误。 研究人员写道：“礼貌的语言、清晰的教科书式的回答以及全面性是使 ChatGPT 答案看起来更令人信服的部分主要原因，这让用户放松了警惕，忽略了 ChatGPT 答案中的一些错误信息。”

新研究称ChatGPT提供错误编程答案的比例高达52%

新研究称ChatGPT提供错误编程答案的比例高达52% 普渡大学的一个研究小组在 5 月早些时候举行的计算机-人交互大会上提交的一份报告中，检查了发送到 ChatGPT 回答的 517 个 Stack Overflow 问题。普渡大学的研究小组反馈说，ChatGT 为这些编程问题提供错误答案的比例高达 52%。虽然人工智能聊天机器人提供错误的问题答案也许是意料之中的事，但珀杜大学的研究小组却更进一步指出，人类程序员在 35% 的情况下仍然更喜欢 ChatGPT 的答案，"因为它们的回答具有全面性和清晰的语言风格"。更糟糕的是，在 39% 的情况下，人类程序员并没有发现 ChatGPT 的错误答案。虽然这只是对 ChatGPT 功能的一个方面进行的研究，但它表明，生成式人工智能机器人仍然容易犯很多错误，而人类可能无法发现这些错误。Google的人工智能"概述"（AI Overviews）于今年 5 月初在美国地区的Google搜索中投入使用，它已经对一些搜索字符串生成了奇怪且充满错误的答案摘要。Google在向新闻机构发表的声明中试图解释这些明显的错误：我们看到的例子一般都是非常不常见的查询，并不能代表大多数人的经验。绝大多数人工智能概述都提供了高质量的信息，并附有深入挖掘的网络链接。声明还说，Google将利用这些"孤立的例子"来帮助"完善我们的系统"。 ... PC版： 手机版：

研究发现虽然AI辅助编程可以发挥巨大作用 但也会因训练限制而陷入困境

研究发现虽然AI辅助编程可以发挥巨大作用 但也会因训练限制而陷入困境 虽然在某些情况下，人工智能生成器可以生成比人类更好的代码，但分析也揭示了人工智能生成的代码存在一些安全问题。Yutian Tang是格拉斯哥大学的一名讲师，他参与了这项研究。他指出，基于人工智能的代码生成可以在提高生产率和自动化软件开发任务方面提供一些优势，但重要的是要了解这些模型的优势和局限性。"通过进行全面分析，我们可以发现基于 ChatGPT 的代码生成过程中出现的潜在问题和限制......[并]改进生成技术。"Tang 解释说。为了更详细地探讨这些局限性，他的团队试图测试GPT-3.5解决LeetCode 测试平台上五种编程语言中 728 个编程问题的能力：这五种编程语言是：C、C++、Java、JavaScript 和Python。对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。总体而言，ChatGPT 在解决不同编程语言的问题方面表现相当出色，尤其是在尝试解决 2021 年之前 LeetCode 上存在的编程问题时。例如，它能为简单、中等和困难的问题生成功能代码，成功率分别约为 89%、71% 和 40%。"然而，当遇到 2021 年后的算法问题时，ChatGPT 生成功能正确的代码的能力就会受到影响。它有时无法理解问题的含义，即使是简单的问题也是如此，"Tang 指出。例如，在 2021 年之后，ChatGPT 为"简单"编程问题生成功能代码的能力从 89% 降至 52%。而在 2021 年之后，它为"难"问题生成功能代码的能力也从 40% 降至 0.66%。对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。从本质上讲，随着编程技术的发展，ChatGPT 还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到过的问题。这也解释了为什么 ChatGPT 在解决旧的编程问题方面比解决新的问题要好得多。因此，ChatGPT可能会生成错误的代码，因为它不理解算法问题的含义。有趣的是，ChatGPT 生成的代码的运行时间和内存开销比人类解决相同 LeetCode 问题的至少 50% 的方案都要小。研究人员还探索了 ChatGPT 在收到 LeetCode 的反馈后修正自身编程错误的能力。他们随机选取了 50 个编程场景，在这些场景中，ChatGPT 最初生成了错误的编程，原因可能是它不了解手头的内容或问题。虽然 ChatGPT 擅长修正编译错误，但它通常不擅长纠正自己的错误。Tang 解释说："ChatGPT 可能会因为不理解算法问题的含义而生成错误代码，因此这种简单的错误反馈信息是不够的。"研究人员还发现，ChatGPT 生成的代码确实存在相当多的漏洞，比如缺失空值测试，但其中很多都很容易修复。研究结果还显示，用 C 语言生成的代码最为复杂，其次是 C++ 和 Python，其复杂程度与人类编写的代码类似。基于这些结果，使用 ChatGPT 的开发人员必须提供更多信息，以帮助 ChatGPT 更好地了解问题或避免漏洞。"例如，在遇到比较复杂的编程问题时，开发人员可以尽可能提供相关知识，并在提示中告诉 ChatGPT 哪些是需要注意的潜在漏洞，"Tang 说。 ... PC版： 手机版：

OpenAI已经修复ChatGPT胡言乱语的问题 用户现在可以重新使用

OpenAI已经修复ChatGPT胡言乱语的问题 用户现在可以重新使用 接到反馈后 OpenAI 工程师立即进行了排查并确认了问题，到昨天夜里 02:30 OpenAI 发文表示这个问题已经解决，同时 OpenAI 还公布了该问题的原因。据 OpenAI 解释：大型语言模型 (LLM) 通过部分基于概率的随机抽样单词来生成回答，LLM 的 “语言” 由映射到标记的数字组成。在昨天发生的这种情况中，LLM 出现的错误主要是在模型选择这些映射到标记数字步骤上，就像是在翻译过程中迷失了自我，导致选择的数字是错误的。不同数字对应的内容是不同的，因此出现选择错误的数字后，就可能产生完全没有意义的单词组合，从技术上说，推理内核可能会在某些 GPU 配置中产生不正确的结果。为此 OpenAI 针对该问题进行了临时性处理，目前用户使用 ChatGPT 应该不会再经常碰到胡言乱语的问题。 ... PC版： 手机版：