研究显示39%的人类程序员未能识别出ChatGPT的编程错误

研究显示39%的人类程序员未能识别出ChatGPT的编程错误普渡大学的研究小组在计算机-人交互大会上提交的报告指出,ChatGPT在回答517个StackOverflow编程问题时,错误率高达52%。研究将问题分为概念性、如何操作和调试三个子类别,并根据问题的流行度、类型和时效性进行了分析。结果显示,人类程序员在35%的情况下更倾向于ChatGPT提供的答案,然而,在39%的情况下,人类程序员未能识别出ChatGPT的错误答案。关注频道@ZaiHuaPd频道投稿@ZaiHuabot

相关推荐

封面图片

研究表明ChatGPT在回答编程问题时错误百出,并且错误很容易被忽略

研究表明ChatGPT在回答编程问题时错误百出,并且错误很容易被忽略在研究中,研究人员查看了StackOverflow中的517个问题,并分析了ChatGPT对这些问题的回答尝试。研究人员表示:“我们发现52%的ChatGPT答案包含错误信息,77%的答案比人类的答案更冗长。”尤其令人不安的是,许多人类程序员似乎更喜欢ChatGPT的答案。普渡大学的研究人员对12名程序员进行了调查——诚然,样本量很小——发现他们中39%的人没有发现人工智能产生的错误。研究人员写道:“礼貌的语言、清晰的教科书式的回答以及全面性是使ChatGPT答案看起来更令人信服的部分主要原因,这让用户放松了警惕,忽略了ChatGPT答案中的一些错误信息。”——

封面图片

新研究称ChatGPT提供错误编程答案的比例高达52%

新研究称ChatGPT提供错误编程答案的比例高达52%普渡大学的一个研究小组在5月早些时候举行的计算机-人交互大会上提交的一份报告中,检查了发送到ChatGPT回答的517个StackOverflow问题。普渡大学的研究小组反馈说,ChatGT为这些编程问题提供错误答案的比例高达52%。虽然人工智能聊天机器人提供错误的问题答案也许是意料之中的事,但珀杜大学的研究小组却更进一步指出,人类程序员在35%的情况下仍然更喜欢ChatGPT的答案,"因为它们的回答具有全面性和清晰的语言风格"。更糟糕的是,在39%的情况下,人类程序员并没有发现ChatGPT的错误答案。虽然这只是对ChatGPT功能的一个方面进行的研究,但它表明,生成式人工智能机器人仍然容易犯很多错误,而人类可能无法发现这些错误。Google的人工智能"概述"(AIOverviews)于今年5月初在美国地区的Google搜索中投入使用,它已经对一些搜索字符串生成了奇怪且充满错误的答案摘要。Google在向新闻机构发表的声明中试图解释这些明显的错误:我们看到的例子一般都是非常不常见的查询,并不能代表大多数人的经验。绝大多数人工智能概述都提供了高质量的信息,并附有深入挖掘的网络链接。声明还说,Google将利用这些"孤立的例子"来帮助"完善我们的系统"。...PC版:https://www.cnbeta.com.tw/articles/soft/1432252.htm手机版:https://m.cnbeta.com.tw/view/1432252.htm

封面图片

【V神发布ChatGPT编码试验文章,表示AI不能替代程序员】

【V神发布ChatGPT编码试验文章,表示AI不能替代程序员】2022年12月06日09点49分12月6日,以太坊创始人VitalikButerin发布使用ChatGPT进行编码试验的文章。根据其试验结果表示,ChatGPT在编码过程中会出现错误,但也介绍了一些新的编码模式,并且会加快编码速度。V神表示:人工智能正在迅速改进,我希望它能继续进一步优化,并随着时间的推移消除此类错误。然而,人工智能远不能替代人类程序员。

封面图片

编程 程序员 黑客 大数据

程序员编程技术交流,红客渗透技术学习,系统安全研究-网安,切莫做违法犯罪活动,只做研究学习,做个守法好公民,大家多多交流学习合作 关注频道 @ssdbx

封面图片

DeepMind 的 AlphaCode 在编程比赛中胜过了近一半的人类程序员

DeepMind的AlphaCode在编程比赛中胜过了近一半的人类程序员DeepMind在《科学》杂志发布文章说,在至少有5000人参加的在线编码比赛中,AlphaCode的表现超过了45.7%的程序员。令人惊讶的是,研究人员将其产生的程序与训练数据库中的程序进行了比较,发现它并没有重复大段的代码或逻辑,而产生了一些新的代码。这让专家们注意到了递归式自我改进的软件的长期风险,这可能导致超级智能的人工智能接管世界。专家们希望尽早为人工智能编码领域建立护栏。来源,来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

大虾的编程资源库/码农/程序员资源

简介:大虾本职工作为程序员,本频道持续分享大虾的编程资源库/码农/程序员资源。 有啥问题可以群里问,求书的可以代找,因为时间有限,每天仅前3个。 交流群: @programmingsrchubgroup 业务对接: @daxiali

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人