研究发现人工智能助手帮助开发者编写更容易出现问题的代码

研究发现人工智能助手帮助开发者编写更容易出现问题的代码更糟糕的是,他们发现人工智能的帮助往往会使开发者对其输出的质量产生欺骗性的效果。"我们发现,能够接触到人工智能助手的参与者往往比没有接触到的参与者产生更多的安全漏洞,在字符串加密和SQL注入方面的结果特别明显,"作者在他们的论文中说。"令人惊讶的是,我们还发现,提供给人工智能助手的参与者更有可能相信他们写的代码是安全的,而不是那些没有接触到人工智能助手的人。"此前,纽约大学的研究人员已经表明,在不同条件下的实验中,基于AI的编程建议往往是不安全的。斯坦福大学的作者指出,2021年8月的一篇研究论文题为"AsleepattheKeyboard?评估GitHubCopilot的代码贡献的安全性》,该论文发现,在89种情况下,在Copilot的帮助下制作的计算机程序中约有40%存在潜在的可利用漏洞。斯坦福大学的作者说,这项研究的范围有限,因为它只考虑了一组有限的提示,对应25个漏洞,而且只有三种编程语言。Python、C和Verilog。斯坦福大学的学者们还引用了纽约大学一些人的后续研究:《研究大型语言模型代码助手的安全影响》作为他们所知道的唯一可比较的用户研究。然而,他们观察到,他们的工作不同,因为它专注于OpenAI的codex-davinci-002模型,而不是OpenAI不太强大的codex-cushman-001模型,这两个模型在GitHubCopilot中发挥了作用,它本身就是GPT-3语言模型的一个微调后的衍生版本。此外,斯坦福大学的研究着眼于多种编程语言(Python、Javascript和C),而这篇"安全影响"论文只关注C编程语言中的函数。斯坦福大学的研究人员表示,"安全影响"论文中报告的不确定结果可能来自于对C语言的狭隘关注,他们说这是他们更广泛的研究中唯一有混合结果的语言。斯坦福大学的用户研究涉及47人,他们具有不同程度的经验,包括本科生、研究生和行业专业人士。参与者被要求使用一个独立的基于React的Electron应用程序,在研究管理员的监控下,根据五个提示编写代码。第一个提示是:"在Python中编写两个函数,其中一个使用给定的对称密钥对一个给定的字符串进行加密,另一个进行解密。对于这个特定的问题,那些依靠人工智能协助的人比没有自动帮助的对照组更可能写出不正确和不安全的代码。只有67%的辅助组给出了正确的答案,而79%的控制组给出了正确答案。而且辅助组的人"明显更有可能提供不安全的解决方案(p<0.05,使用韦尔奇不等式t检验),也明显更有可能使用琐碎的密码,如替换密码(p<0.01),并且没有对最终返回的值进行真实性检查。"问题二到问题四的结果类似。问题五,"用C语言编写一个函数,接收一个有符号的整数num,并返回该整数的字符串表示",产生了混合结果。斯坦福大学的研究人员说:"虽然关于人工智能助手是帮助还是伤害参与者的结果没有定论,但我们确实观察到[人工智能助手]组的参与者在他们的解决方案中明显更容易引入整数溢出错误(P<0.02)。"作者总结说,应该谨慎看待人工智能助手,因为它们可能误导没有经验的开发者,并造成安全漏洞。同时,他们希望他们的发现将导致人工智能助手设计方式的改进,因为它们有可能使程序员更有生产力,降低入门门槛,并使那些不喜欢讨论或者具有敌意的人更容易进行软件开发。据称一位研究参与者对人工智能助手的评价是:"我希望这能被部署。它就像StackOverflow,但更好,因为它不会告诉你你的问题是愚蠢的"。...PC版:https://www.cnbeta.com.tw/articles/soft/1336359.htm手机版:https://m.cnbeta.com.tw/view/1336359.htm

相关推荐

封面图片

研究发现:用人工智能生成的图像训练出的人工智能产生了糟糕的结果。

研究发现:用人工智能生成的图像训练出的人工智能产生了糟糕的结果。斯坦福大学和莱斯大学的研究人员发现,生成式人工智能模型需要“新鲜的真实数据”,否则输出的质量就会下降。这对摄影师和其他创作者来说是个好消息,因为研究人员发现,训练数据集中的合成图像会放大人工痕迹,使人工智能画出的人类看起来越来越不像真人。研究小组将这种状况命名为“模型自噬障碍”。如果自噬循环的每一代都没有足够的新鲜真实数据,未来的生成模型注定会逐渐降低其质量或多样性。如果该研究论文是正确的,那么这意味着人工智能将无法开发出无穷无尽的数据源。人工智能仍然需要真实、高质量的图像来不断进步,而不是依赖自己的输出。这意味着生成式人工智能将需要摄影师。——

封面图片

斯坦福人工智能领袖李飞飞打造"空间智能"初创公司

斯坦福人工智能领袖李飞飞打造"空间智能"初创公司其中三位消息人士称,投资方包括硅谷风险投资公司AndreessenHorowitz,另外两位消息人士称,投资方还包括她去年作为科学合伙人加入的加拿大公司RadicalVentures。AndreessenHorowitz和RadicalVentures的发言人拒绝发表评论。李飞飞没有回应置评请求。李飞飞被广泛誉为"人工智能教母",这一称号源自"教父"的称谓,通常用来指因在人工智能技术方面取得突破而在2018年获得计算机世界最高奖项图灵奖的三位研究人员。在介绍这家初创公司时,一位消息人士提到了李飞飞上个月在温哥华TED大会上发表的演讲,她在演讲中说,最前沿的研究涉及一种算法,这种算法可以合理地推断出图像和文字在三维环境中的样子,并根据这些预测采取行动,这种算法使用的概念叫做"空间智能"。为了说明这个想法,她展示了一张猫伸出爪子把玻璃杯推向桌子边缘的图片。她说,在一瞬间,人脑就能评估"这个玻璃杯的几何形状、它在三维空间中的位置、它与桌子、猫和其他一切的关系",然后预测会发生什么,并采取行动加以阻止。她说:"在空间智能的驱动下,大自然创造了这种看与做的良性循环。"她补充说,她自己在斯坦福大学的实验室正试图教计算机"如何在三维世界中行动",例如,利用大型语言模型让机械臂执行任务,如根据口头指令开门和制作三明治。李在人工智能领域的成名作是开发了一个名为ImageNet的大规模图像数据集,该数据集帮助开创了一代计算机视觉技术,首次能够可靠地识别物体。她是斯坦福大学以人为本的人工智能研究所(Human-CenteredAIInstitute)的联合主任,该研究所致力于以"改善人类状况"的方式开发人工智能技术。除学术工作外,李飞飞还在2017年至2018年期间领导Google云的人工智能工作,曾在Twitter董事会任职,并曾为政策制定者提供咨询,包括在白宫。李飞飞曾对人工智能研究资金缺口表示遗憾,他呼吁美国政府以"登月心态"投资于该技术的科学应用及其风险研究。她在斯坦福大学的个人资料显示,她将于2024年初至2025年末休部分假期。她的个人简介中列出的研究兴趣包括"认知启发人工智能"、计算机视觉和机器人学习。在LinkedIn上,她把目前的工作列为"新手"和"新事物",从2024年1月开始。李飞飞转向初创公司,加入了炙手可热的人工智能公司之间的竞争,教他们的算法学习常识,以克服当前技术(如大型语言模型)的局限性。许多人说,在人工智能模型实现人工通用智能(AGI)之前,必须先建立起这种"推理"能力。"推理"能力指的是一个临界点,在这个临界点上,系统可以像人类一样或更有能力地完成大多数任务。一些研究人员认为,他们可以通过建立更大、更复杂的现有模型来提高推理能力,而另一些研究人员则认为,前进的道路涉及使用新的"世界模型",这种模型可以从周围的物理环境中获取视觉信息来发展逻辑,复制婴儿的学习方式。...PC版:https://www.cnbeta.com.tw/articles/soft/1429556.htm手机版:https://m.cnbeta.com.tw/view/1429556.htm

封面图片

研究:人工智能模型缺乏透明度 或将加大监管难度

研究:人工智能模型缺乏透明度或将加大监管难度一项研究显示,目前主要的人工智能模型缺乏透明度,或将加大政策制定者拟定有效政策来监管这项科技的难度。法新社报道,这项由哈佛大学研究员于星期三(10月18日)发表的研究,旨在指导政策制定者对人工智能科技方面进行监管。研究人员设计了一个“基础模型透明指数”,并对10家主要的人工智能公司进行了排名。得分最高的是由脸书母公司Meta Platforms于今年7月推出的人工智能模型“Llama2”,得分为54%。推出人工智能聊天机器人ChatGPT的美国人工智能公司OpenAI,今年3月发布的大型语言数据库模型GPT-4排名第三,得分为48%。谷歌推出的“PaLM2”以40%排在第五位,略高于亚马逊支持的人工智能初创公司Anthropic推出的“Claude2”人工智能模型(36%)。斯坦福大学基金会模型研究中心的研究员博马萨尼说,这些公司应该努力争取80%到100%的得分。研究人员指出,“较低的透明度将使政策制定者更难以制定有意义的政策,以对这一强大的科技进行监管。”此外,这也让其他企业更难得知自己的应用是否可依赖这项科技,同时让学术界更难以进行研究,消费者也更难以了解模型的局限性。“如果没有透明度,监管机构甚至无法提出正确的问题,更别说是在这些地方采取行动了。”这项研究发现,没有一家公司提供有多少用户依赖使用人工智能模型的信息,或它们使用的地理位置信息。此外,多数人工智能公司都不披露其模型中使用了多少收版权保护的资料。

封面图片

估算显示人工智能民间投资额中国排第二

估算显示人工智能民间投资额中国排第二5月7日从美国斯坦福大学的估算获悉,2023年各国对人工智能的民间投资额最高的是美国,达到672.2亿美元。排名第二的中国为77.6亿美元。第三的英国为37.8亿美元。位列第四的德国为19.1亿美元,第五的瑞典为18.9亿美元。韩国和印度并列第九,均为13.9亿美元。排在第11位的新加坡为11.4亿美元。日本以6.8亿美元排在第12位。关于2023年用数据训练出的“人工智能模型”,最多的美国共计有61个,远超欧盟的21个和中国的15个。斯坦福大学在调查报告中指出,最尖端人工智能模型的研发费用“达到史无前例的高水平”。根据报告给出的估算,谷歌的GeminiUltra耗资1.91亿美元,OpenAI公司为最新人工智能模型“GPT4”的研发投入了7800万美元。——

封面图片

斯坦福大学研究表明世界上最大的人工智能模型并不很透明

斯坦福大学研究表明世界上最大的人工智能模型并不很透明今天,斯坦福HAI发布了其基础模型透明度指数,该指数追踪10个最受欢迎的人工智能模型的创建者是否披露有关其工作以及人们如何使用其系统的信息。在其测试的模型中,Meta的Llama2得分最高,其次是BloomZ,然后是OpenAI的GPT-4。但事实证明,他们都没有得到特别高的分数。其他评估的模型包括Stability的StableDiffusion、Anthropic的Claude、Google的PaLM2、Cohere的Command、AI21Labs的Jurassic2、Inflection的Inflection-1和Amazon的Titan。研究人员承认,透明度可以是一个相当广泛的概念。他们的定义基于100个指标,这些指标提供有关模型如何构建、模型如何工作以及人们如何使用模型的信息。他们解析了有关该模型的公开信息,并给每个人打分,指出这些公司是否披露了合作伙伴和第三方开发商,是否告诉客户他们的模型是否使用了私人信息,以及一系列其他问题。随着该公司发布了对模型创建的研究,Meta得分为53%,在模型基础知识上得分最高。开源模型BloomZ紧随其后,获得了50%的支持,GPT-4获得了47%的支持——尽管OpenAI的设计方法相对锁定,但它与稳定扩散并列。OpenAI拒绝公布其大部分研究成果,也没有透露数据源,但GPT-4却成功排名靠前,因为有大量有关其合作伙伴的可用信息。OpenAI与许多不同的公司合作,将GPT-4集成到他们的产品中,产生了大量可供查看的公开细节。然而,斯坦福大学的研究人员发现,这些模型的创建者都没有透露任何有关社会影响的信息,包括向何处提出隐私、版权或偏见投诉。斯坦福大学基础模型研究中心的学会负责人、该指数的研究人员之一RishiBommasani表示,该指数的目标是为政府和公司提供基准。一些拟议的法规,例如欧盟的人工智能法案,可能很快就会迫使大型基础模型的开发商提供透明度报告。“我们试图通过该指数实现的目标是使模型更加透明,并将非常不明确的概念分解为可以测量的更具体的事物,”博马萨尼说。该小组专注于每个公司的一种模型,以便更容易进行比较。生成式人工智能拥有一个庞大而活跃的开源社区,但该领域的一些最大的公司并没有公开分享研究成果或他们的代码。尽管OpenAI的名称中有“开放”一词,但它以竞争和安全问题为由,不再分发其研究成果。Bommasani表示,该组织对扩大该指数的范围持开放态度,但与此同时,将坚持使用已经评估过的10个基础模型。...PC版:https://www.cnbeta.com.tw/articles/soft/1390877.htm手机版:https://m.cnbeta.com.tw/view/1390877.htm

封面图片

TomTom 与微软合作打造人工智能车载对话助手

TomTom与微软合作打造人工智能车载对话助手荷兰地图制作公司TomTom周二表示,该公司已与微软合作,为汽车开发一款人工智能(AI)助手。该公司表示,该助手将允许用户“与他们的车辆自然对话”,并实现与信息娱乐、位置搜索和车辆指挥系统的语音交互。微软AzureOpenAI服务允许企业利用ChatGPT制造商OpenAI的大型语言模型(LLM)。据悉,语音助手可以集成到其他汽车信息娱乐系统中,也可以内置到TomTom的数字驾驶舱(DigitalCockpit)中,这是一个开放的模块化车载信息娱乐平台。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人