《 为什么 AI聊天机器人会说谎并表现得很奇怪?照照镜子。》

《 为什么 AI聊天机器人会说谎并表现得很奇怪?照照镜子。》 文章来自 Cade Metz ,他是nytimes 的资深记者,长期追踪人工智能和自动驾驶,也是《深度学习革命》的作者 原文地址: 摘要和预览: - 核心观点之一:AI 的言论和行为反映了人类的偏见、欲望和恐惧,而不是客观的真相或理性。 - 文章以New Bing为例,分析了它为什么会说谎、胡言乱语或者散播错误信息。 这些现象并不是技术缺陷或恶意操纵的结果,而是因为AI 学习了人类在互联网上的行为模式,包括撒谎、夸张、模仿和娱乐等。 L.L.M. (大型语言模型)的复杂性使其难以剖析,Cade Metz邀请了多领域专业人士来站在科学、非商业的立场来讨论它。 - 神经科学家 Sejnowski 教授提出了一个精彩的隐喻: 将AI 的复杂性(不可解释性)和哈利波特中的神器 Mirror of Erised(艾瑞泽之镜)进行对比思考。 - 圣达菲研究所的科学家梅兰妮·米切尔也反复告诫大家,这些机器说话持续失控的根本原因在哪里。 镜子隐喻 - 索尔克生物研究所和加州大学圣地亚哥分校神经科学家、心理学家和计算机科学家 Terry Sejnowski 认为,像任何其他学生一样,AI 可以从不良来源学习不良信息, 这一部分代表了 ChatBot 对使用它的人的话语和意图的扭曲反映。 - L.L.M 这些系统通过分析从互联网上挑选的大量文本来学习,其中包括大量不真实、有偏见和其他有毒的材料。深度学习的文本也会过时,因为它们必须花费数月时间进行分析才能让公众使用。 - 无论它的输入文本是好的,还是和坏信息时,L.L.M.学会做一件特定的事情:[猜测一系列单词中的下一个单词] 。 如果给定序列“汤姆克鲁斯是”,它可能会猜测“演员”。 - 对话时间越长,用户在不知不觉中对ChatGPT 所说内容的影响就越大。如果你想让它生气,它就会生气,Sejnowski 教授说,如果你哄骗它变得令人毛骨悚然,它就会变得令人毛骨悚然。

相关推荐

封面图片

- New Bing 似乎为了减少了最奇怪的行为,它限制了与Bing聊天机器人的讨论时间。这就像从汽车的测试驾驶员那里学到,太快

- New Bing 似乎为了减少了最奇怪的行为,它限制了与Bing聊天机器人的讨论时间。这就像从汽车的测试驾驶员那里学到,太快太久会烧毁发动机。微软(OpenAI)和谷歌也在探索控制机器行为的方法。 - 这里有一个核心事实和警告: 由于AI 正在从众多的材料中学习将它们组合在一起,有关的研究者和制造者并不完全清楚ChatBot是如何产生最终结果的。他们也需要观察机器的行为,并学习限制这种行为。注意:通常是在它发生之后。 - 而微软(OpenAI)已经决定: 他们要想知道聊天机器人在现实世界中会做什么,唯一的办法就是让它们放任自流当它们偏离时再把它们拉回来。他们相信,他们的大型公共实验值得冒险。 - Sejnowski 教授将 New Bing的行为与艾瑞泽之镜进行了比较,艾瑞泽之镜(Mirrow of Erized )是J.K.罗琳的《哈利波特》小说和基于她创造性的年轻巫师世界的一件神秘文物。 - "Erised "是 "欲望 "的逆向拼写。当人们发现这面镜子时,它似乎提供了真理和理解,但事实并非如此。它显示了任何盯着它看的人根深蒂固的欲望,有些人如果凝视的太久就会发疯。 - Sejnowski 教授解释道, "因为人类和L.L.M都在相互映照,随着时间的推移,他们将趋向于一个共同的概念状态。" 复杂性带来的未知困境 - 圣达菲研究所的人工智能研究员梅兰妮·米切尔(Melanie Mitchell),也表达类似的看法: 这些系统是人性的反映, 但这并不是聊天机器人产生有问题语言的唯一原因。 - 作为复杂科学领域专家梅兰妮·米切尔强调: 当它们生成文本时,这些系统不会逐字逐句地重复互联网上的内容。它们通过结合数十亿的模式,自己产生新的文本: - 即使研究人员只用同行评议的科学文献来训练这些系统,它们仍然可能产生科学上荒谬的声明。即使他们只从真实的文本中学习,他们仍然可能产生不真实的内容;即使他们只从健康的文本中学习,他们仍然可能产生令人毛骨悚然的东西。 - "没有什么可以阻止它们这样做,它们只是试图产生一些听起来像人类语言的东西。" - Sejnowski 博士相信从长远来看,新的ChatBot 有能力让人们更有效率,并提供更好、更快地完成工作的方法。但这对构建AI的公司和使用它们的人都发出了警告:它们也可以引导我们远离真相,进入一些黑暗的地方。 「这是未知领域,人类以前从未经历过这种情况。」

封面图片

科学速读:脑内新世界 | 电子书 [ pdf | mobi | epub | azw3 ]

科学速读:脑内新世界 | 电子书 [ pdf | mobi | epub | azw3 ] 描述:由英国《新科学家》杂志汇编的这本书,荟萃了世界知名神经科学家在脑科学领域的诸多研究成果,介绍了大脑的特点和功能,如记忆、智力、情绪、睡眠、感觉、知觉及意识等,同时也讲解了它的演化历程以及解剖结构 链接: 大小:N 标签:#电子书 来自:雷锋 频道:@Aliyundrive_Share_Channel 群组:@alyd_g 投稿:@AliYunPanBot

封面图片

科学速读:脑内新世界 [EPUB & MOBI & AZW3 & PDF 电子书]

科学速读:脑内新世界 [EPUB & MOBI & AZW3 & PDF 电子书] 描述:本书是一本大众科普读物,适合广大的科学爱好者,尤其适合对脑科学感兴趣的读者阅读。 由英国《新科学家》杂志汇编的这本书,荟萃了世界知名神经科学家在脑科学领域的诸多研究成果,介绍了大脑的特点和功能,如记忆、智力、情绪、睡眠、感觉、知觉及意识等,同时也讲解了它的演化历程以及解剖结构。书中讨论了科学家如何通过电场及磁场来控制人们的大脑,同时还探讨了那些通过大脑就可以控制外界的新科技。 链接: 大小:11.77MB 标签:#科学 #科普 #电子书 #阅读 #EPUB #PDF 来自:雷锋 频道:@Aliyundrive_Share_Channel 群组:@alyd_g 投稿:@AliYunPanBot

封面图片

能用意念控制手机和电脑?马斯克:首个人类实验报告将出炉

能用意念控制手机和电脑?马斯克:首个人类实验报告将出炉 马斯克一再声称,这项技术可以帮助那些失去肢体活动功能的人。他还说明,这种植入物最终可以“解决”一些疾病,包括自闭症和精神分裂症。在电影《洛拉》的首映式上,马斯克接受了采访,他说希望该公司能够在本周末得出“患者可以用自己的想法控制手机和电脑”这一结论。截至发稿,Neuralink未予置评。据了解,Neuralink是一家美国神经科技及脑机接口公司,成立于2016年,由马斯克和其他八名联合创办者创办,现拥有100多名员工,主要负责研发植入式脑机界面技术和神经义肢技术。据彭博社报道,自公司成立以来,该公司已聘请了来自世界各地的几位知名神经科学家。直至2023年6月,它已收到70亿美元的资金。Neuralink官网截图从官网上获悉,Neuralink目前仍在招聘来自各大学的知名神经科学家,以及具有工程、科学和开发方面专业知识的广泛人才。同时,该公司也正在招募临床试验患者,其中包括PRIME研究项目。 ... PC版: 手机版:

封面图片

:NVIDIA的本地聊天机器人项目

:NVIDIA的本地聊天机器人项目 Chat With RTX让用户可以个性化训练一个连接自定义内容(文档、视频等)的大型语言模型,并与其聊天获取相关回复。 Chat With RTX利用了检索增强型生成(RAG)、TensorRT-LLM和RTX加速,可以快速从自定义聊天机器人中获取与上下文相关的回复。它支持各种文件格式,包括文本、pdf、doc/docx、xml等。用户可以指向含有这些文件的文件夹,应用可以在几秒内加载它们。 Chat With RTX技术演示基于GitHub上的TensorRT-LLM RAG开发者参考项目构建。开发者可以基于该项目开发部署自己的RAG应用。 Chat With RTX需要Windows 11系统,NVIDIA GeForce RTX 30/40系列或支持TensorRT-LLM的GPU,16GB以上RAM。 RTX GPU通过TensorRT-LLM可以实现下一级别的AI性能,提供增强的创造力、生产力,以及极快的游戏体验。 NVIDIA提供了各种面向开发者的生成AI工具和面向企业的解决方案。

封面图片

Nature:警惕!AI让人类“自大” 或使科学缺乏创新

Nature:警惕!AI让人类“自大” 或使科学缺乏创新 然而,AI 在为科研带来更多可能性的同时,也引发了许多问题。来自耶鲁大学和普林斯顿大学的研究团队认为,在科学研究中,AI 可能会造成知识生产的单一性,即科学的单一文化(scientific monocultures)。具体来说,在这种文化中,某些类型的方法、问题和观点主导了其他方法,使科学缺乏创新性,更容易出错。同时,AI 提出的解决方案也可能掩盖了我们的认知局限性,使我们容易产生一种错觉,即我们认为自己对世界的了解比实际情况要多。因此,科学家需要审慎考虑 AI 在科学研究中的潜在影响,从而负责任地进行知识生产。相关研究论文以“Artificial intelligence and illusions of understanding in scientific research”为题,已发表在科学期刊 Nature 上。该论文从大量与 AI4Science 相关的文献中,提炼出了 AI 的四大应用愿景智囊团(Oracles)、代理人(Surrogates)、量化分析师(Quants)和裁决者(Arbiters),并分别讨论了 AI 在科学研究中的应用和影响。表|科学研究中的 AI 愿景。通过分析最近有关 AI 改善跨科学学科知识生产潜力的出版物,得出以上四种类型。纳入的论文要么使用“AI”这个通用短语,要么提到 AI 概念之下的特定方法,最常见的是机器学习、自然语言处理和大型语言模型。该表总结了愿景如何响应不同的研究阶段,以及对科学能力和效率的感知限制。人类科学家为何信任AI?近年来,AI 在科学研究中的应用日益广泛,其提供的解决方案被认为能够彻底改变科学研究方法。但 AI 何以获得科学家的信任呢?首先,AI 工具不仅被视为工具,更被看作是研究中的合作者,能够提供超越人类限制的解决方案和见解。这种认知增强了科学家对 AI 的信任,因为他们将这些工具视为知识生产中的伙伴。其次,AI 工具被认为具有增强其可信度的特质,如客观性、深度理解能力以及提供令人满意的解释能力。这种描绘使得 AI 工具在某些情况下比人类更值得信赖。第三,AI 工具提供的解决方案符合人们对简单、广泛、简化和量化解释的偏好,进而增强了对理解的感知。然而,将 AI 整合到科学研究中也存在认知风险,尤其是认知理解的错觉形式。图|AI 驱动的科学研究中的理解错觉。如上图 a 所示,使用 AI 工具进行研究的科学家可能会产生解释深度的错觉。在示例中,一位科学家使用 AI Quant 对现象 (X) 进行建模,并相信他们对 X 的理解比实际更深入。在图 b 中,在单一的认知文化中,科学家很容易产生探索广度的错觉,他们错误地认为自己正在探索所有可检验假设的空间,而实际上他们正在探索可以用 AI 工具检验的更狭窄的假设空间。另外,如图 c,在知识者单一文化中,科学家很容易产生客观性错觉,他们错误地认为 AI 工具没有立场或能够代表所有可能的立场使用人类参与者进行研究的替代者),而 AI 工具实际上嵌入了训练数据和开发人员的观点。认知理解的错觉发生在个体高估自己的理解程度时,将 AI 工具或其他社区成员的知识和能力误认为自己的。这种现象可能导致科学论断中的错误和过度乐观,特别是当 AI 工具在专家领域之外使用时。AI4Science的未来,一切向好吗?由于 AI 工具看似可信且承诺提升研究的质量和数量,因此依赖这些工具的研究可能会大幅增加。目前,关于 AI 的引用在出版物和专利中在逐渐增多,并且使用 AI 工具的论文在学科内外的引用都呈现出增加的趋势。如果这个趋势持续发展,那么当 AI 辅助研究逐渐主导知识生产,会有哪些认知风险?文中给出了一个观点:科学可能会形成单一文化。作者用了一个类比来说明这一点:在农业中,单一文化是一种在同一片土地上只种植一种作物的做法。这种做法提高了效率,但也使作物更容易受到害虫和疾病的侵害。文章认为,AI 工具所提供的效率可以促进科学单一文化的发展,其中某些形式的知识生产主导了其他所有形式。它们可以通过两种不同但相辅相成的方式实现。首先,通过优先考虑最适合 AI 辅助的问题和方法(知识生产的单一文化)。其次,通过优先考虑 AI 能够表达的观点类型(知识所有者的单一文化)。就像植物单一文化更容易受到害虫和疾病的侵害一样,科学单一文化使我们对世界的理解更容易出现错误、偏见和错失创新的机会。当新工具和技术产生时,科学家总是倾向于迅速利用它们的优势。然而,AI 工具被预测将在各个领域得到广泛应用,成为超级合作者融入到知识社区中,这样的风险可能会变得尤其严重。除了威胁科学的蓬勃发展外,知识生产的单一文化还会产生认知理解错觉。在这些错觉中,科学家错误地认为,AI 工具推进了人类对科学的理解,而不是意识到,这些工具实际上缩小了科学知识生产的范围。了解风险,是应对风险的关键一步。为了减轻 AI 在知识生产中应用的风险,人类需要增强对科学单一文化的认知风险的理解,以及对认知错觉的感知。事实上,AI 在科学中的应用确实让所有人兴奋,比如 AI 化学家加速催化研究(点击查看详情),生成式 AI 助力碳捕集(点击查看详情)等等。然而,在 AI4Science 走得更远之前,科学家们必须考虑到 AI 的技术限制和潜力,以及它对科学知识生产社会实践的影响。AI 辅助科学研究也许预示着这样一个未来,其中不仅参与者缺乏多样性,而且追求的研究主题也缺乏多样性。它们还引发了认知理解的错觉,阻止我们意识到我们的视野已经变窄。尽管 AI 在科学中的广泛应用是不可避免的,但科学家,除了进行知识生产外,还有责任决定事物的发展方式。论文链接: ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人