新研究称ChatGPT提供错误编程答案的比例高达52%

新研究称ChatGPT提供错误编程答案的比例高达52%普渡大学的一个研究小组在5月早些时候举行的计算机-人交互大会上提交的一份报告中,检查了发送到ChatGPT回答的517个StackOverflow问题。普渡大学的研究小组反馈说,ChatGT为这些编程问题提供错误答案的比例高达52%。虽然人工智能聊天机器人提供错误的问题答案也许是意料之中的事,但珀杜大学的研究小组却更进一步指出,人类程序员在35%的情况下仍然更喜欢ChatGPT的答案,"因为它们的回答具有全面性和清晰的语言风格"。更糟糕的是,在39%的情况下,人类程序员并没有发现ChatGPT的错误答案。虽然这只是对ChatGPT功能的一个方面进行的研究,但它表明,生成式人工智能机器人仍然容易犯很多错误,而人类可能无法发现这些错误。Google的人工智能"概述"(AIOverviews)于今年5月初在美国地区的Google搜索中投入使用,它已经对一些搜索字符串生成了奇怪且充满错误的答案摘要。Google在向新闻机构发表的声明中试图解释这些明显的错误:我们看到的例子一般都是非常不常见的查询,并不能代表大多数人的经验。绝大多数人工智能概述都提供了高质量的信息,并附有深入挖掘的网络链接。声明还说,Google将利用这些"孤立的例子"来帮助"完善我们的系统"。...PC版:https://www.cnbeta.com.tw/articles/soft/1432252.htm手机版:https://m.cnbeta.com.tw/view/1432252.htm

相关推荐

封面图片

研究表明ChatGPT在回答编程问题时错误百出,并且错误很容易被忽略

研究表明ChatGPT在回答编程问题时错误百出,并且错误很容易被忽略在研究中,研究人员查看了StackOverflow中的517个问题,并分析了ChatGPT对这些问题的回答尝试。研究人员表示:“我们发现52%的ChatGPT答案包含错误信息,77%的答案比人类的答案更冗长。”尤其令人不安的是,许多人类程序员似乎更喜欢ChatGPT的答案。普渡大学的研究人员对12名程序员进行了调查——诚然,样本量很小——发现他们中39%的人没有发现人工智能产生的错误。研究人员写道:“礼貌的语言、清晰的教科书式的回答以及全面性是使ChatGPT答案看起来更令人信服的部分主要原因,这让用户放松了警惕,忽略了ChatGPT答案中的一些错误信息。”——

封面图片

研究显示39%的人类程序员未能识别出ChatGPT的编程错误

研究显示39%的人类程序员未能识别出ChatGPT的编程错误普渡大学的研究小组在计算机-人交互大会上提交的报告指出,ChatGPT在回答517个StackOverflow编程问题时,错误率高达52%。研究将问题分为概念性、如何操作和调试三个子类别,并根据问题的流行度、类型和时效性进行了分析。结果显示,人类程序员在35%的情况下更倾向于ChatGPT提供的答案,然而,在39%的情况下,人类程序员未能识别出ChatGPT的错误答案。关注频道@ZaiHuaPd频道投稿@ZaiHuabot

封面图片

ChatGPT 的编程问题正确率比抛硬币还低

ChatGPT的编程问题正确率比抛硬币还低普渡大学的一项研究显示,OpenAI的聊天机器人ChatGPT在回答软件编程问题时,有一半以上的时间会回答错误。尽管如此,该机器人的说服力足以骗过三分之一的参与者。普渡大学团队分析了ChatGPT对517个StackOverflow问题的回答,以评估ChatGPT回答的正确性、一致性、全面性和简洁性。美国学者还对答案进行了语言和情感分析,并就模型生成的结果询问了十几名志愿参与者。“我们的分析表明,52%的ChatGPT答案是错误的,77%是冗长的,”该团队的论文总结道。“尽管如此,ChatGPT答案仍有39.34%的时间因其全面性和清晰的语言风格而受到青睐。”“在研究过程中,我们观察到,只有当ChatGPT答案中的错误很明显时,用户才能识别出错误,”论文中说到。“然而,当错误不容易验证或需要外部IDE或文档时,用户往往无法识别错误或低估答案的错误程度。”论文称,即使答案存在明显错误,12名参与者中仍有两人将答案标记为首选。——、

封面图片

【Ripple CTO:ChatGPT 的答案只是看起来正确】

【RippleCTO:ChatGPT的答案只是看起来正确】Ripple首席技术官DavidSchwartz在社交媒体上发文称,人工智能驱动的聊天机器人ChatGPT和生成式AI程序背后的类似大型语言模型(LLM)提供了不真实的答案,这些答案只是看起来正确,他认为ChatGPT的工作是为用户提供看起来与此类问题通常获得的输出尽可能相似的输出。在与现实世界中的实际事物相对应的意义上,是否真的“真实”根本不是一个考虑因素。此前著名律师史蒂夫弗拉德克(SteveVladeck)分享了ChatGPT生成伪造法庭案件文件的例子并建议永远不要使用ChatGPT或类似工具进行法律研究。

封面图片

研究表明 ChatGPT 提供的建议,比专家更全面、更有帮助

研究表明ChatGPT提供的建议,比专家更全面、更有帮助来自墨尔本大学和西澳大利亚大学的研究团队从十大热门建议栏网站上,随机挑选了50个社会困境问题。该科研团队邀请了404名志愿者,盲测展示由专栏作家和ChatGPT所提供的答案,要求其回答哪个答案更平衡、更全面、更善解人意、更有帮助。研究人员发现,ChatGPT在五个随机提出的问题中的每一个和所有查询类别中都“明显优于”人类顾问,支持人工智能的偏好率在70%到85%之间。尽管ChatGPT建议的质量很高,但77%的受访者依然表示,更喜欢人类专家给出的回答。来源,前文:频道:@kejiqu群组:@kejiquchat

封面图片

Google展示新的人工智能搜索功能 但ChatGPT竞品上线仍需数周时间

Google展示新的人工智能搜索功能但ChatGPT竞品上线仍需数周时间在可能最有趣的演示中,Google展示了它将如何在未来使用生成性人工智能来总结网络信息。在演示中,该公司展示了对"观星时最好的星座是什么?"这一问题的搜索,人工智能生成的回应强调了几个关键选项以及如何发现它们。Google高级副总裁PrabhakarRaghavan说:"新的生成性人工智能功能将帮助我们在搜索结果中直接组织复杂的信息和多种观点。有了这个,你就能迅速了解大局,然后继续探索不同的角度。"Raghavan将这种回答称为"NORA"回答--代表着"没有一个正确的答案"。(对人工智能生成的搜索答复的一个常见批评是,它们倾向于选择一个确定的答案)。他没有说明这项功能何时可用。信息的缺乏说明了Google目前在人工智能辅助搜索方面的困境,虽然该公司是人工智能领域的领导者,多年来一直在慢慢地将人工智能功能编织到搜索中,但它还没有推出对话式ChatGPT的直接竞争对手。周一,它宣布了它的对手服务Bard,但该系统目前只在封闭测试中,并承诺在"未来几周"的某个时候更广泛地公开使用。在今天的活动中,Google还对Bard进行了简短的演示,向聊天机器人提出了关于购买电动汽车的利弊问题。你可以在下面看到它的答案样本。与此同时,微软一直在利用Google的谨慎态度。昨天,它宣布为必应和其Edge浏览器提供新的人工智能辅助功能。这些功能包括一个类似于ChatGPT的通用聊天机器人,以及自动总结和文本写作程序。...PC版:https://www.cnbeta.com.tw/articles/soft/1343301.htm手机版:https://m.cnbeta.com.tw/view/1343301.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人