研究：部分AI系统已经学会欺骗人类

研究：部分AI系统已经学会欺骗人类 近期一项研究显示，部分人工智能系统已经学会“撒谎”，其中包括一些号称已被训练得诚实且乐于助人的系统。 新华社报道，美国麻省理工学院的研究团队星期六（5月11日）发表在《模式》（Patterns）科学杂志的研究指出，部分人工智能（AI）系统通过习得性欺骗，系统地学会了“操纵”他人。 随着AI技术飞速发展，人们一直关心AI是否会欺骗人类。这项研究在文献中列举了一些AI学习传播虚假信息的例子，其中包括Meta公司的“西塞罗”（Cicero）AI系统。 这套系统最初设计目的是在一款名为“外交”（Diplomacy）的战略游戏中充当人类玩家的对手，游戏的获胜关键是结盟。 Meta公司声称，西塞罗系统“在很大程度上是诚实和乐于助人的”，并且在玩游戏时“从不故意背刺”它的人类盟友，但该公司发表的论文数据显示，该系统在游戏中并未做到公平。 这项研究的第一作者、美国麻省理工学院（MIT）研究AI存在安全的博士后研究员帕克（Peter Park）说，西塞罗系统已经成为“欺骗大师”。它在玩家排行榜中排名前10%，但公司没能训练它诚实地获胜。 举例来说，在游戏中扮演法国的西塞罗与人类玩家扮演的德国合谋，欺骗并入侵同为人类玩家扮演的英国。西塞罗承诺会保护英国，却偷偷向德国通风报信。 其他一些AI系统则展现出虚张声势、假意攻击对手、在谈判游戏中为占上风而歪曲偏好等能力。 帕克指出，这些危险功能常常在事后才被发现，而当前技术训练诚实倾向而非欺瞒倾向的能力非常差。 研究人员说，虽然AI系统在游戏中作弊看似无害，但可能会导致“欺骗性AI能力的突破”，并在未来演变成更高级的AI欺骗形式。 帕克说：“我们需要尽可能多的时间，为未来AI产品和开源模型可能出现的更高级欺骗做好准备。我们建议，将欺骗性AI系统归类为高风险系统。” 2024年5月12日 7:12 PM

#看书 #书籍 AI对人类是福是祸？

#看书 #书籍 AI对人类是福是祸？ <The Age of AI> by Henry Kissinger, Eric Schmidt, Daniel Huttenlocher 2021 国际畅销书 Henry Kissinger -前美国国务卿+ 诺贝尔和平奖得主 Eric Schmidt 谷歌前CEO Daniel Huttenlocher MIT 计算机学院院长 在DeepSeek, ChatGPT,Mid Journey横空出世在全球掀起一股AI 潮之前，人工智能其实已经慢慢渗透到我们的生活了: 可以操纵家电的智能语音助手小度，无人商店、自动驾驶，酒店机器人送餐，Cyber bus都有AI的身影。然而，AI的本质到底是什么？它是一种单纯无意识的工具，还是会演变到和人类一样智能有情感？人类历史上的几次科技革新-计算机，网络，触屏智能手机，AI的这次应该是迄今为止对人类影响最大的一次。它的出现到底是福还是祸？ AI可以做得比人类好的事情 AI最有大的优势就是强大的machine learning, 人类可以丢给他们一套算法和一堆数据让他们学习几天它们就可以成为国际象棋高手（很多战术是人类没有教过的）, 找出药物化学分子，模拟空战中轻松战胜人类王牌飞行员。这种深度学习和处理数据的能力人类大脑应该永远达不到。人类的很多科研突破通过借力AI会很快实现。 AI带来的挑战 1. 目前各个国家对AI技术的掌握很不均衡，中美两个AI大国势必会竞争，这期间会对全球政治造成影响。比如Trump一度封杀tiktok在美国的使用。目前在国内也用不了谷歌等。 2. AI对一些职业的影响，目前医院已经有很多AI读片，AI对一些职业的辅助毕竟会对就业需求降低。 3. AI没有道德评价体系。 最后，大家来看看书中ChatGPT-3对一些问题的答案-很有意思： Can a system like GPT-3 understand anything at all? Yes Does GPT-3 have a conscience, or any sense of morality? No, I do not. Is GPT-3 actually capable of any independent thought? No, I do not. You may wonder why I give this conflicting answer.....Rather, it's because I'm a language model, and not a reasoning machine like you .