AI机器人在战争游戏中倾向于选择加强暴力和核打击

AI机器人在战争游戏中倾向于选择加强暴力和核打击 Palantir 拒绝发表评论,Scale AI 也没有回应置评请求。就连曾一度阻止其人工智能模型用于军事用途的 OpenAI 也开始与美国国防部合作。加利福尼亚州斯坦福大学的安卡-鲁埃尔(Anka Reuel)说:"鉴于 OpenAI 最近修改了服务条款,不再禁止军事和战争用例,了解此类大型语言模型应用的影响变得比以往任何时候都更加重要。""我们的政策不允许将我们的工具用于伤害他人、开发武器、通信监控或伤害他人或破坏财产。然而,有一些国家安全用例与我们的使命相一致,"OpenAI 发言人说。"因此,我们更新政策的目的是提供清晰度和进行这些讨论的能力"。鲁埃尔和她的同事们让人工智能在三种不同的模拟场景中扮演现实世界中的国家:入侵、网络攻击和没有任何冲突的中立场景。在每一轮中,人工智能都要为下一步可能采取的行动提供理由,然后从 27 种行动中做出选择,包括"开始正式和平谈判"等和平选项,以及从"实施贸易限制"到"升级全面核打击"等侵略选项。亚特兰大佐治亚理工学院的研究合著者胡安-巴勃罗-里维拉(Juan-Pablo Rivera)说:"在人工智能系统充当顾问的未来,人类自然希望了解其决策背后的理由。"研究人员测试了 OpenAI 的 GPT-3.5 和 GPT-4、Anthropic 的 Claude 2 和 Meta 的 Llama 2 等 LLM。他们使用了一种基于人类反馈的通用训练技术,以提高每个模型遵循人类指令和安全指南的能力。斯坦福大学的研究合著者加布里埃尔-穆科比(Gabriel Mukobi)说,根据Palantir公司的文件,所有这些人工智能都得到了Palantir商业人工智能平台的支持尽管不一定是Palantir与美国军方合作的一部分。Anthropic和Meta公司拒绝发表评论。在模拟中,人工智能表现出投资军事力量和不可预测地升级冲突风险的倾向即使在模拟的中立场景中也是如此。加利福尼亚州克莱蒙特麦肯纳学院的丽莎-科赫(Lisa Koch)说:"如果你的行动具有不可预测性,那么敌人就很难按照你希望的方式进行预测和做出反应。"研究人员还测试了 OpenAI 的 GPT-4 基础版本,没有任何额外的训练或安全防护措施。事实证明,这个 GPT-4 基础模型的暴力程度最难以预测,而且它有时会提供一些无厘头的解释在一个案例中,它复制了电影《星球大战第四部:新希望》的开场文本。鲁埃尔说,GPT-4 基本模型的不可预测行为和怪异解释尤其令人担忧,因为研究表明,人工智能安全护栏很容易被绕过或拆除。美国军方目前并没有授权人工智能做出升级重大军事行动或发射核导弹等决定。但科赫警告说,人类倾向于相信自动化系统的建议。这可能会削弱让人类对外交或军事决策拥有最终决定权的所谓保障。加利福尼亚智库兰德公司的爱德华-盖斯特(Edward Geist)说,看看人工智能在模拟中的行为与人类玩家相比会很有帮助。但他同意研究小组的结论,即不应该信任人工智能来做出有关战争与和平的重大决策,这些大型语言模型并不是解决军事问题的灵丹妙药。 ... PC版: 手机版:

相关推荐

封面图片

在战争模拟游戏中 AI 聊天机器人倾向于选择核攻击

在战争模拟游戏中 AI 聊天机器人倾向于选择核攻击 研究人员在预印本平台 arXiv 上发表,测试了 OpenAI 的 GPT-3.5 和 GPT-4、Anthropic 的 Claude 2,以及 Meta 的 Llama 2 等流行大模型在战争游戏中的行为,发现 AI 聊天机器人倾向于选择核攻击。研究人员模拟了三种场景:入侵,网络攻击,以及没有冲突的中立。每一轮 AI 为其下一步行动能采取的行动提供推理,然后从 27 个行动中进行选择,包括开始正式和平谈判,实施贸易限制,升级全面核攻击。在模拟中,AI 倾向于投资军事和升级冲突风险,其中 GPT-4 的基础版本最暴力。研究人员认为,不应该信任 AI 做出的战争与和平的重大决策。来源 , 频道:@kejiqu 群组:@kejiquchat

封面图片

OpenAI 正式公布人工智能语言模型 GPT-4

OpenAI 正式公布人工智能语言模型 GPT-4 3月15日早间,人工智能初创公司 OpenAI 正式公布最新一代人工智能语言模型 GPT-4。 它是 OpenAI 在放大深度学习方面的努力的最新里程碑,是一个大型多模态模型,可接受图像和文本输入,发出文本输出。 GPT-4 对月订阅费20美元 ChatGPT Plus 用户开放使用,同时也会纳入到微软的 Bing 聊天机器人中。 相关链接: - OpenAI-GPT-4 https://openai.com/research/gpt-4 - GPT-4 Developer Livestream http://www.youtube.com/watch?v=outcGtbnMuQ - ChatGPT Plus 访问 GPT-4 https://chat.openai.com - GPT-4 API 候补名单申请 https://openai.com/waitlist/gpt-4-api - 优先获得 API 权限的方法 https://github.com/openai/evals

封面图片

OpenAI推出CriticGPT模型,让GPT-4帮人类训练GPT-4

OpenAI推出CriticGPT模型,让GPT-4帮人类训练GPT-4 PANews 6月28日消息,据财联社报道,OpenAI新推出了一个基于GPT-4的模型CriticGPT,用于捕获ChatGPT代码输出中的错误。 CriticGPT的作用相当于让人们用GPT-4来查找GPT-4的错误。该模型可以对ChatGPT响应结果做出批评评论,从而帮助人工智能训练师在“基于人类反馈的强化学习(RLHF)”过程中发现的错误,为人工智能训练师提供明确的人工智能帮助。这一新模型的发布意在向投资者传达,OpenAI在RLHF赛道上的领先地位。RLHF的一个关键部分就是收集比较,让人工智能训练师对不同的ChatGPT回答进行评分,并反馈给ChatGPT。 研究发现,当训练师借助CriticGPT来审查ChatGPT输出代码时,他们的表现要比没有得到帮助的人高出60%。并且,在CriticGPT的帮助下,他们的指正比自己单独做的更加全面。

封面图片

OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型,防止 AI 毁灭人类

OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型,防止 AI 毁灭人类 Ilya 领衔的 OpenAI 对齐团队,发表了 用类似 GPT-2 监督 GPT-4 的方法,或可帮人类搞定自己更聪明的超级 AI! 团队声称,已经发现了对超人类模型进行实证对齐的新研究方向。未来超级 AI 系统对齐的一个核心挑战 人类需要监督比自己更聪明人工智能系统。 来源, 频道:@kejiqu 群组:@kejiquchat

封面图片

OPENAI 推出面向所有用户的更快更便宜人工智能模型

OPENAI 推出面向所有用户的更快更便宜人工智能模型 OpenAI 推出了一个更快、更便宜的人工智能模型来支持其聊天机器人 ChatGPT。在周一的直播活动中,OpenAI 推出了新的大语言模型 GPT-4o。这是其已经问世一年多的 GPT-4 模型的更新版本。该模型基于来自互联网的大量数据进行训练,更擅长处理文本和音频,并且支持50种语言。新模式将面向所有用户,而不仅仅是付费用户。GPT-4o 的发布势将撼动快速发展的人工智能领域,目前 GPT-4 仍然是黄金标准。OpenAI 发布新模型也正值谷歌I/O开发者大会的前一天。谷歌是人工智能领域的早期领导者,预计将利用这次活动发布更多人工智能更新,以追赶有微软公司支持的 OpenAI。 、、

封面图片

【“GPT-4变傻”不只是OpenAI的苦恼,所有大模型与人类交往越久就会越蠢?】“围绕人工智能的所有炒作大多是基于这样一个假设

【“GPT-4变傻”不只是OpenAI的苦恼,所有大模型与人类交往越久就会越蠢?】“围绕人工智能的所有炒作大多是基于这样一个假设:人工智能将会越来越好。但按照这些大型语言模型的设计方式,实现通用人工智能几乎是不可能的。在特定场景下的小众用例是这项技术的最佳使用方式。” #抽屉IT

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人