研究显示39%的人类程序员未能识别出ChatGPT的编程错误

研究显示39%的人类程序员未能识别出ChatGPT的编程错误普渡大学的研究小组在计算机-人交互大会上提交的报告指出，ChatGPT在回答517个StackOverflow编程问题时，错误率高达52%。研究将问题分为概念性、如何操作和调试三个子类别，并根据问题的流行度、类型和时效性进行了分析。结果显示，人类程序员在35%的情况下更倾向于ChatGPT提供的答案，然而，在39%的情况下，人类程序员未能识别出ChatGPT的错误答案。关注频道@ZaiHuaPd频道投稿@ZaiHuabot

研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略

研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略在研究中，研究人员查看了StackOverflow中的517个问题，并分析了ChatGPT对这些问题的回答尝试。研究人员表示：“我们发现52%的ChatGPT答案包含错误信息，77%的答案比人类的答案更冗长。”尤其令人不安的是，许多人类程序员似乎更喜欢ChatGPT的答案。普渡大学的研究人员对12名程序员进行了调查——诚然，样本量很小——发现他们中39%的人没有发现人工智能产生的错误。研究人员写道：“礼貌的语言、清晰的教科书式的回答以及全面性是使ChatGPT答案看起来更令人信服的部分主要原因，这让用户放松了警惕，忽略了ChatGPT答案中的一些错误信息。”——