研究显示39%的人类程序员未能识别出ChatGPT的编程错误

研究显示39%的人类程序员未能识别出ChatGPT的编程错误普渡大学的研究小组在计算机-人交互大会上提交的报告指出，ChatGPT在回答517个StackOverflow编程问题时，错误率高达52%。研究将问题分为概念性、如何操作和调试三个子类别，并根据问题的流行度、类型和时效性进行了分析。结果显示，人类程序员在35%的情况下更倾向于ChatGPT提供的答案，然而，在39%的情况下，人类程序员未能识别出ChatGPT的错误答案。关注频道@ZaiHuaPd频道投稿@ZaiHuabot

新研究称ChatGPT提供错误编程答案的比例高达52%

新研究称ChatGPT提供错误编程答案的比例高达52%普渡大学的一个研究小组在5月早些时候举行的计算机-人交互大会上提交的一份报告中，检查了发送到ChatGPT回答的517个StackOverflow问题。普渡大学的研究小组反馈说，ChatGT为这些编程问题提供错误答案的比例高达52%。虽然人工智能聊天机器人提供错误的问题答案也许是意料之中的事，但珀杜大学的研究小组却更进一步指出，人类程序员在35%的情况下仍然更喜欢ChatGPT的答案，"因为它们的回答具有全面性和清晰的语言风格"。更糟糕的是，在39%的情况下，人类程序员并没有发现ChatGPT的错误答案。虽然这只是对ChatGPT功能的一个方面进行的研究，但它表明，生成式人工智能机器人仍然容易犯很多错误，而人类可能无法发现这些错误。Google的人工智能"概述"（AIOverviews）于今年5月初在美国地区的Google搜索中投入使用，它已经对一些搜索字符串生成了奇怪且充满错误的答案摘要。Google在向新闻机构发表的声明中试图解释这些明显的错误：我们看到的例子一般都是非常不常见的查询，并不能代表大多数人的经验。绝大多数人工智能概述都提供了高质量的信息，并附有深入挖掘的网络链接。声明还说，Google将利用这些"孤立的例子"来帮助"完善我们的系统"。...PC版：https://www.cnbeta.com.tw/articles/soft/1432252.htm手机版：https://m.cnbeta.com.tw/view/1432252.htm

AI并不“万能”：ChatGPT给出癌症治疗方案被指漏洞百出

AI并不“万能”：ChatGPT给出癌症治疗方案被指漏洞百出更致命的是，这些错误信息被ChatGPT与正确信息混杂在一起，导致用户难以分辨到底哪些信息是准确可靠的。参与该研究的DanielleBitterman博士称，ChatGPT回答中，错误信息与正确信息的混合程度相当高，已经达到了专家也难以发现问题的程度。事实上，此前就曾有大量消息指出，目前的ChatGPT，或其他生成式人工智能，仍然存在给出强误导性、或是完全错误信息的情况。对此，以OpenAI为首的人工智能研发团队已经表示，将在后续的开发中提高AI回答的可靠性，避免这样类似“幻觉”情况的出现。此外，OpenAI已经在使用条款中警告用户，模型并非是为提供医疗信息设计，也不应该被用于为严重的医疗状况提供诊断或治疗服务。...PC版：https://www.cnbeta.com.tw/articles/soft/1379819.htm手机版：https://m.cnbeta.com.tw/view/1379819.htm

ChatGPT 的编程问题正确率比抛硬币还低

ChatGPT的编程问题正确率比抛硬币还低普渡大学的一项研究显示，OpenAI的聊天机器人ChatGPT在回答软件编程问题时，有一半以上的时间会回答错误。尽管如此，该机器人的说服力足以骗过三分之一的参与者。普渡大学团队分析了ChatGPT对517个StackOverflow问题的回答，以评估ChatGPT回答的正确性、一致性、全面性和简洁性。美国学者还对答案进行了语言和情感分析，并就模型生成的结果询问了十几名志愿参与者。“我们的分析表明，52%的ChatGPT答案是错误的，77%是冗长的，”该团队的论文总结道。“尽管如此，ChatGPT答案仍有39.34%的时间因其全面性和清晰的语言风格而受到青睐。”“在研究过程中，我们观察到，只有当ChatGPT答案中的错误很明显时，用户才能识别出错误，”论文中说到。“然而，当错误不容易验证或需要外部IDE或文档时，用户往往无法识别错误或低估答案的错误程度。”论文称，即使答案存在明显错误，12名参与者中仍有两人将答案标记为首选。——、

研究发现 ChatGPT 在高质量、善解人意地回答患者问题方面优于医生

研究发现ChatGPT在高质量、善解人意地回答患者问题方面优于医生社交网站Reddit有一个论坛叫，用户提出各种医学问题由经过身份认证的医疗专业人士进行回复。加州圣迭戈的研究人员从该论坛上随机选择了195个问题和答案，让AI聊天机器人ChatGPT根据问题撰写回复。由三名专业人士组成的团队评估了人类医生和ChatGPT的答案，他们没有被告知哪个答案是医生写的哪个是ChatGPT写的。结果显示，79%的情况下ChatGPT的答案被认为质量更高更富有同情心。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot