OpenAI声称《纽约时报》以黑客手段攻击ChatGPT以生成指定证据

OpenAI声称《纽约时报》以黑客手段攻击ChatGPT以生成指定证据 原告（本案中为《纽约时报》）的诉讼认为，这些 ChatGPT-4 模型正在使用《纽约时报》的文章来训练他们的聊天机器人。在法庭文件中，《纽约时报》披露了 100 个例子来为自己辩护。Open AI 辩称，该报纸付钱购买黑客服务，让其入侵 OpenAI 产品，利用漏洞，然后生成想要的回复。文件补充道："他们花了数万次尝试才产生了构成原告证据 J 的高度异常的结果。他们只有通过使用公然违反 OpenAI 使用条款的欺骗性提示，瞄准并利用一个漏洞（OpenAI 已承诺解决该漏洞），才能做到这一点。即便如此，他们还不得不向该工具提供他们试图获取的文章的逐字段落，而这些文章几乎都已出现在多个公共网站上。在此，证据 J 指的是《纽约时报》为反对 OpenAI 而提供的证据附件，OpenAI 还辩称，该公司正在努力协助新闻业，任何一方都无权"垄断事实或语言规则"。有趣的是，这份文件还显示，在 2020 年推出 GPT-3 时，《纽约时报》还曾地报道了这项技术的实用性，并没有指责开放人工智能侵犯了任何版权。微软也是诉讼的一部分。《纽约时报》在 12 月提交的文件中谈到了由微软提供、由 ChatGPT 支持的"Browse by Bing"服务。文件指出，该搜索引擎发布的文章与《纽约时报》发布产品评论的网站 Wirecutter 的文章完全相同。原告认为，这会导致新闻记者的收入下降，因为 Wirecutter 在推荐特定产品时会赚取佣金。然而，昨天的文件却提出了相反的意见。OpenAI 辩称，投诉中的文章是由《纽约时报》要求 ChatGPT 提供网站上的具体推荐而生成的，人工智能的回应是引导用户访问网站，并提供"非逐字"的评论摘要。目前，我们只了解到法庭上分享的信息，相关各方未就其他方面的观点发表评论。 ... PC版： 手机版：

OpenAI Sora问世 通往AGI的又一个ChatGPT时刻

OpenAI Sora问世 通往AGI的又一个ChatGPT时刻 因为看完Sora你可能会发现，OpenAI自己可能要用它先杀死GPT-4了。每个人都可以创造自己的世界了先来看看Sora。人们一直期待GPT-5，但Sora带来的轰动不亚于一次GPT-5的发布。作为OpenAI 首推的文本转视频模型，Sora能够根据文本指令或静态图像生成长达 1分钟的视频，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。同时也接受现有视频扩展或填补缺失的帧。每条提示60秒的视频长度与Pika Labs的3秒、Meta Emu Video的4秒、和Runway公司Gen-2的18秒相比，妥妥地铁赢了。并且从官方发布的演示来看，无论从视频流畅度还是细节表现能力上，Sora的效果都相当惊艳。比如官推里这条14秒的东京雪景视频。提示词：Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.“美丽的，被雪覆盖的东京正繁忙着。镜头穿过繁忙的城市街道，跟随着几个享受雪景和在附近摊位购物的人。美丽的樱花瓣随风飘落，与雪花一同飞舞。”穿着时尚的女性漫步在霓虹背景的东京街头，地面有积水倒影。对于五官和皮肤的刻画十分真实，特别是痘印和法令纹，细节让人惊叹。猛犸象自冰川雪原中缓步从来，背后升腾起雪雾。烛火旁纯真顽皮的3D动画小怪物，光影、表情和毛茸茸的细节满分：一名24岁女性的眼部特写，足以以假乱真。无人机视角的海浪拍打着Big Sur加瑞角海岸崖壁，落日洒下金色光芒。窗台上的花朵开放延时影像：民众们上街舞龙，庆祝中国农历春节。可爱小猫咪在线安抚起床气。夜晚街道跑着的快乐小狗。两艘微型海盗船在一杯咖啡里对峙。加州淘金时代罕见“历史影像”流出 像吗？Sora做的。目前Sora还在测试阶段，仅对部分评估人员、视觉艺术家、设计师和电影制作人们开放访问权限，拿到试用资格的人们已经开始想象力横飞。Sam Altman就转发网友用Sora制作的“金光灿灿动物园”视频，玩起了自己的“What”梗：他还邀请大家踊跃提出想用Sora制作视频的提示词，团队马上为大家生成，瞬间8千多条回复。网友脑洞大开，要看海洋生物的自行车公开赛。两只金毛在山上戴着耳机开播客。当然也不忘cue一下去向成谜的Ilya，要求生成一个“Ilya眼中的真实世界”。不过OpenAI也表示，虽然Sora 对自然语言有着深入的理解，能够准确洞悉提示词，生成表达丰富的内容，并可以创建多个镜头、保持角色和视觉风格的一致性，但仍不可避免地存在一些弱点。例如，它在准确模拟复杂场景的物理现象方面存在困难，也可能不理解特定的因果关系。比方说“一个人咬一口饼干后，饼干上可能并没有咬痕。”模型也可能混淆提示的空间细节，像是弄错左右。或者“在准确体现随时间发生的事件方面遇到困难，比如遵循特定的摄像机轨迹”。Sora也使用了DALL·E 3的recaptioning技术，该技术涉及为视觉训练数据生成高度描述性的标题。因此模型能够更忠实地按照用户在生成视频中的文本指令进行操作。它能够一次性生成整个视频，或是扩展已生成的视频使其变长。通过让模型一次性预见多帧，解决了即使主体暂时离开视线也能保持不变的挑战性问题。关于安全性，OpenAI表示正与错误信息、仇恨内容和偏见等领域的专家合作，对模型进行对抗性测试。同时也在开发帮助检测误导性内容的工具，识别视频是否由Sora生成。对于违反使用政策的文本提示，例如暴力、仇恨和侵犯他人知识产权等内容，将拒绝显示给用户。除此以外，为DALL·E 3产品构建的现有安全方法也同样适用于Sora。“尽管进行了广泛的研究和测试，我们仍无法预测人们将如何利用我们的技术，也无法预见人们如何滥用它。这就是为什么我们相信，从真实世界的用例中学习，是随时间构建越来越安全的AI系统的关键组成部分。”OpenAI对 Sora信心满满，认为这为模型理解和模拟真实世界奠定了基础，是“实现AGI的重要里程碑”。网友们也第n+1次纷纷哀悼起相关赛道的公司们：“OpenAI就是不能停止杀死创业公司。”“天哪，现在起我们要弄清什么是真的，什么是假的。”“我的工作没了。”“整个影像素材行业被血洗，安息吧。”能杀死GPT-4的世界模型？这不就是吗OpenAI一如既往没有给出很详细的技术说明，但一些只言片语已经足够让你浮想联翩。其中最吸引我们注意的第一个点，是对数据的处理。Sora是一个扩散模型（diffusion model），采用类似GPT的Transformer架构。而在解决训练中文本资料与视频数据之间的统一方面，OpenAI表示，他们在处理图像和视频数据时，把对它们进行分割后得到的最小单元，称为小块（patches），也就是对应LLM里的基本单元tokens。这是一个很重要的技术细节。把它作为模型处理的基本单元，使得深度学习算法能够更有效地处理各种视觉数据，涵盖不同的持续时间、分辨率和宽高比。从最终的震撼效果看，你很难不得出这样一个结论：对语言的理解能力，是可以迁移到对更多形态的数据的理解方法上去的。此前的Dalle-3的效果就被公认很大程度来自OpenAI在GPT上积累的领先N代的语言能力，哪怕是个图像为输出的模型，语言能力提升也是至关重要的。而今天的视频模型，同样如此。至于它是如何做到的，有不少行业内的专家给出了相同的猜测：它的训练数据里使用了游戏领域最前端的物理引擎Unreal Engine5，简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习引擎生成的图像视频数据和它体现出的模式，然后还可以直接用学习来的，引擎最能理解的方式给这些利用了引擎的强大技术的视觉模型模块下指令，生成我们看到的逼真强大的对物理世界体现出“理解”的视频。基于这个猜测，OpenAI简短的介绍中的这句话似乎就更加重要了：“Sora 是能够理解和模拟现实世界的模型的基础，OpenAI相信这一功能将成为实现AGI的重要里程碑。”理解，现实，世界。这不就是人们总在争论的那个唯一有可能“干掉”GPT-4的世界模型。现在，OpenAI搞出来了它的雏形，摆在了你的面前。看起来，这个模型学会了关于 3D 几何形状和一致性的知识，而且并非OpenAI训练团队预先设定的，而是完全是通过观察大量数据自然而然地学会的。负责Sora训练的OpenAI科学家Tim Brooks表示，AGI将能够模拟物理世界，而Sora就是迈向这个方向的关键一步。显然，在OpenAI眼里，它不只是一个“文生视频模型”，而是更大的东西。我们如果尝试进一步给一个暴论，就是：语言是理解一切的基础，理解了视频后，世界模型才会到来。可能这才是比今天刷屏感慨“现实不存在了”之外，更恐怖的地方。这可能是人类通往AGI的又一个ChatGPT时刻。 ... PC版： 手机版：

ChatGPT-4o，OpenAI的一小步，人类“AI助理”的一大步

ChatGPT-4o，OpenAI的一小步，人类“AI助理”的一大步 它长出了“眼睛”，可以通过摄像头看到你，比如它通过研究员上扬的嘴角判断他的心情、通过他周围的环境背景判断了他正在做什么、甚至给出了造型建议；它能“看到”你的电脑桌面，直接帮你查看写的代码有什么问题。它有了更灵敏的“耳朵”，能听懂的不只是语言，还能听懂研究员过于急促的呼吸声，并引导他慢慢平稳呼吸、放松下来。OpenAICTO Mura Murati 宣布推出 ChatGPT-4o | 图片来源：OpenAI它有了更灵活的“嘴巴”，对话不再有延时，你能随时打断它、它能随时接住你的话。它的声音能带入感情，比如更冷静一点、更激昂一点、甚至讽刺一点。它还能唱歌。它也有了更聪明的“大脑”。它能帮研究员一步步解不等式，还可以做同声翻译、你可以通过它跟不同语种的人们交流。这些强大的能力背后，源自 OpenAI 推出的新模型 GPT-4o。与现有模型相比，GPT-4o 的最大进步在于，它可以实时对音频、视觉和文本进行推理换句话说，它让ChatGPT实现了真正意义上的多模态交互。这不仅仅是技术进步的追求，更是应用普及的追求。OpenAI 的使命之一是让 AI 普惠每个人，让用户能顺滑地用上 AI 是至关重要的。在“模型即应用”的时代，这种交互体验最终还是靠模型能力的提升。OpenAI 称，GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步。发布会上，Mira Murati 宣布 ChatGPT-4o 将免费向所有用户开放，而付费和企业用户，可以抢先获得体验。电影《Her》上映于 2013 年，它讲述了一位人类爱上一位人工智能语音助理的故事。从今天 ChatGPT 呈现的能力来看，这样的想象正在加速成为现实。ChatGPT 的惊人进步：变身人类“超级助理”，甚至不需要人类参与在 OpenAI 的官网上，呈现了 ChatGPT 作为个人语音“超级助理”的更多惊人应用场景。首先是面向单个用户，和人一样，它提供的主要是“情绪价值”与“认知价值”。比如它能讲笑话、唱生日快乐歌、玩游戏、逗小狗、给人催眠、让人放松等等；它能充当面试官，给人提供面试建议；它还能给一位盲人提供环境观察，给他讲述看到的景色、提醒他过马路的路况。盲人用户使用 ChatGPT-4o“观察”整个世界 | 图片来源：OpenAI接着是面向多个用户，它提供的更多是一种“协同价值”。比如给两个语言不通的人充当翻译，让他们能无障碍沟通；给两个人做“剪刀石头布”的游戏裁判，先喊口令让游戏开始、之后还能准确判断是哪个人赢了；充当一名“家教”，帮一位父亲辅导他的孩子做作业；甚至作为一名“会议第三方”，主持和记录多人会议。最有意思的还是，不同 ChatGPT 之间的对话。这种无需人类参与的沟通，不仅充满了科幻感，更让人开始想象无需人类协作、而让机器代替人类协作的未来。在一段演示中，一位用户要求一部手机的 ChatGPT 代表自己，向另一部手机的 ChatGPT 申请售后，结果这两个 ChatGPT 毫无阻碍地聊了两分钟，顺利帮这位用户“换了货”。而 OpenAI 总裁 Greg Brockman 则做了一个调皮的演示，他让两个 ChatGPT 互动并唱了歌。OpenAI 总裁 Greg Brockman 演示两个 GPT 的互动 ｜图片来源：OpenAI一位曾在 10 年前就开始做“AI 语音助理”的前大厂高管对极客公园表示，他当时就设想过 AI 助理的终极形态应该是“多模态、无所不能”，但彼时技术并不支持，他认为 ChatGPT 会加速这种设想实现的可能只是他没想到，这个过程会来得这么快。他认为，实现 AGI 的一个关键标志是，机器是否能具备了自主学习、自主迭代、自主解决问题等能力。这个突破看起来很遥远，但当两个 ChatGPT 开始互相聊天的时候，这个鸿沟看起来似乎浅了一点点。GPT-4o 多模态大模型的技术进步、以及安全性这些惊艳的产品表现，根本上源自于 GPT-4o 多模态大模型的技术进步。后者分为文本、语音、图像三部分，GPT-4o 在这三块都有提升，尤其是后两者。在文本方面，据 OpenAI 的技术报告，GPT-4o 在 MMLU（语言）、GPQA（知识）、MATH（数学）、HumanEval（编程）的评测指标上，都超出了 GPT-4T、GPT-4 (23 年 3 月最初发布版本)，以及竞品 Claude 3 Opus、Gemini Pro 1.5、Llama3 400b、Gemini Ultra 1.0。比如在 0-shot COT MMLU 上，GPT-4o 创下了 88.7% 的新高分。GPT-4o 在文本上的成绩相当优异|图片来源：OpenAI最关键的，是音频、多语言和视觉上的进步。在音频方面，过去 ChatGPT 的音频缺陷是需要经过三个独立的模型，从而存在延迟、且无法承载丰富信息。它先由第一个模型将音频转录为文本，再由 GPT-3.5 或 GPT-4 接收文本并输出文本，最后由第三个模型将该文本转换回音频一方面，它使得音频的传输存在延迟，GPT-3.5 的平均延迟为 2.8 秒，GPT-4 的平均延迟为 5.4 秒。另一方面，模型会丢失大量信息，从而无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。而 GPT-4o 的解决办法是，跨文本、视觉和音频端到端地训练了一个新模型，这意味着所有输入和输出都由同一神经网络处理。OpenAI 称这是其突破深度学习界限的最新举措。目前，GPT-4o 可以在短至 232 毫秒、平均 320 毫秒的时间内响应音频输入，与人类的响应时间相似。同时在音频 ASR 性能和翻译性能上，GPT-4o 都比 Whisper-v3（OpenAI 的语音识别模型）的性能更优。M3Exam 基准测试既能用于多语言评估，也可以用于视觉评估。它由多项选择题组成，包括图形和图表。在所有语言的基准测试中，GPT-4o 都比 GPT-4 更强。另外在视觉理解评估上，GPT-4o 在视觉感知基准上都实现了最先进的性能。GPT-4o 在视觉理解上同样能力不错 | 图片来源：OpenAI一位大模型训练者曾对极客公园表示，模型的技术领先性从来不是靠打榜评分，而是靠用户最真实的感受和体验。从这个角度来说，GPT-4o 的技术领先性将很容易见分晓。OpenAI 表示，GPT-4o 的文本和图像功能将于发布会当天在 ChatGPT 中推出。免费用户就可以使用，不过 Plus 付费用户能享受高达 5 倍的消息容量。在未来几周内，OpenAI 会在 ChatGPT Plus 中推出新版本的语音模式 GPT-4o alpha。而开发人员现在就可以在 API 中访问 GPT-4o 的文本和视觉模型。与 GPT-4 Turbo 相比，GPT-4o 速度提高了 2 倍、价格降低了一半、速率限制提高了 5 倍。在未来几周内，OpenAI 计划向一小部分值得信赖的合作伙伴推出 GPT-4o 的新音频和视频功能。一项强大的技术最令外界担忧的，就是它的安全可控性。这也是 OpenAI 最核心的考虑之一。OpenAI 表示，GPT-4o 通过过滤训练数据和通过训练后细化模型行为等技术，在跨模式设计中内置了安全性。其还创建了新的安全系统，为语音输出提供防护。为了保证更好的安全性，OpenAI 表示在接下来的几周和几个月里，将致力于技术基础设施、培训后的可用性以及发布其他模式所需的安全性。OpenAI 从没让外界失望，再次引领科技圈的未来作为这波 AI 浪潮的开启者、引领者，OpenAI 的每一次发布和更新，都关系着其庞大用户量的涨跌、公司竞争的进退、以及整个行业的关注和走向。在这次发布会之前，外界对 OpenAI 颇多谣传、也包括质疑。一周前，外媒报道此次 OpenAI 要发布的是一款搜索引擎在一年最重要的新闻发布时刻，这家公司没有推出 GPT-5，这引来外界对其创新力的颇多怀疑。而如果无法拿出足够创新力的技术和产品，这家公司将难以重振用户的增长、满足整个市场对它的期待。自 2022 年底推出 ChatGPT 后，这家公司的用户量经历了大起大落。据 Similarweb 估计，其全球访问量在 2023 年 5 月达到... PC版： 手机版：

破解ChatGPT惊人耗电 DeepMind新算法训练提效13倍，能耗暴降10倍

破解ChatGPT惊人耗电 DeepMind新算法训练提效13倍，能耗暴降10倍 随着AI计算需求的膨胀，还需要用水来冷却计算系统。研究称，微软用水量从2021年到22年飙升了34%，ChatGPT每处理5-50个提示就会消耗接近半升水。针对这种现状，我们有更好的解决策略吗？最近，GoogleDeepMind研究团队提出了一种加快AI训练的新方法多模态对比学习与联合示例选择（JEST），大大减少了所需的计算资源和时间。JEST以13倍更少的迭代次数，以及10倍更少的计算量，超越了最先进的模型！预训练的参考模型，已经学习了什么样的数据是有“优质的”或“有用的”。然后通过模型，来引导数据选择那些精心筛选过的小型数据集。这一发现揭示了，数据筛选水平可以作为评判Scaling Law的一个新维度。网友激动表示，“我没想到这么快就会发生。模型能够自主选择训练数据的能力是巨大的，因为它使训练变得显著更容易，你不再需要猜测什么是高质量的训练数据，你有一个能够『理解』什么样的数据对自身学习最有价值的模型”。前Google、苹果软件工程师称赞道，这项研究非常令人印象深刻。从“超级batch”中筛选数据无论是语言、视觉还是多模态模型，数据质量是预训练性能的重要驱动因素。比如Phi-3、Gemma 2等模型的成功让我们看到了，更少、更高质量的数据有可能实现更强大的性能。要筛选出高质量的数据，数据管道的建立就成为重要的工作。现有的方法大体可以分为两种：1）手动管理 2）基于模型的数据管理，用正在训练模型的特征选择高质量数据。前者成本高昂且难以扩展，后者则有望为多模态LLM实现Scaling Law。然而，现有方法忽略了一个事实。如果仅在单个数据点的层面进行筛选，就没有考虑到数据集以及batch的总体组成。毕竟，训练数据是以batch为单位，数据点之间的依赖性不可忽视。许多计算机视觉的研究都曾表明，hard negatives（表达空间中相近但标签不同的样本）相比可被平凡解的数据簇，能提供更有效的学习信号。那么如何让模型以batch为单位筛选数据呢？论文提出的JEST算法正是要解决这个问题，原理很好理解：就是直接从“超级batch”中筛选出“子batch”。技术介绍用数学语言来描述这个问题，就是从大小为B的“超级batch”中提取出与学习最相关的子batch ℬ={,∈[1,…,]}⊂，过滤比率可以写作=1−/。之前的优先采样（prioritized sampling）会使用基于模型的评分函数对每个数据点打分，再按比例采样。JEST则直接对整个子batch评分，再按照batch级别的分数采样。一种最直观的启发式方法就是在现有模型参数 : hard⁢(ℬ|)=ℓ⁢(ℬ|) 中，直接选择损失值最高的batch，这种方法可被称之为“硬学习”（hard learner）。这种方法具有丢弃琐碎数据的理想属性，已被证明适用于小型、干净的数据集；然而对于较大、较少管理的数据集往往弊大于利，因为它依旧会采样到噪声数据。另一种方法常用于多模态，使用具有参数 ∗:^easy⁢(ℬ|∗)=−ℓ⁢(ℬ|∗) 的参考模型为预训练模型采样数据。但作者依旧否定了这个方案，因为它无法直接反映模型当前的状态，可能过度依赖参考模型的选择，而且不易于扩展。最后，论文选择借鉴ICML 2022年的一篇论文中提到的方法，将上述两方面的评分结合起来：^learn⁢(ℬ|,∗)=hard⁢(ℬ|)+^easy⁢(ℬ|∗)=ℓ⁢(ℬ|)−ℓ⁢(ℬ|∗)，并将这种启发式方法称为“可学习性评分”（learnability score）。其中，batch上的损失值ℓ⁢(ℬ|)是各数据点之和，使用sigmoid对比损失函数计算（sigmoid-contrastive loss），因为相比softmax对比损失而言，它的扩展性更强。由于batch上的对比损失可以分解为每个样本的条件损失之和，因此可学习性评分可被分解为单个样本可学习性评分⁢(|,∗,ℬ)之和，写作：使用的顺序采样方法则受到了block Gibbs采样的启发。在第n次迭代、对第B_n个batch进行采样时，依据如下概率公式对块{X_k}进行无替换采样：将X_k块添加到B_n中来更新当前采样的batch，直至迭代数n=N时终止。算法的总体流程如下图所示：实验中发现，使用迭代数N=16且每次迭代时独立采样b/N=2048个样本时，就足以恢复出学习性非常高的batch。可学习性评分中涉及到使用参考模型为数据点打分，之前的方法惯常使用额外的小型模型，但这会增加每次迭代的计算成本，降低总体FLOP效率增益。因此论文使用了在线模型近似的方法以及效率较高的FlexiViT架构，只使用降低分辨率的32×32的patch来评估“超级batch”，与全分辨率、patch大小为16×16的方法相比减少了72%的FLOP，以及67%的挂钟时间（wall-clock time）。此外，论文还提出了进行多分辨率训练的技巧。将每个batch随机分成两半，使用不同分辨率编码后再拼接起来，提升了评分过程和训练的效率。下图详细描述了全分辨率JEST和多分辨率Flexi-JEST方法的伪代码实现。所有JEST实验都在WebLI数据集上运行，包含经过宽松过滤的十亿规模的英语图像-文本对，参考模型的训练则使用其中经过高质量过滤100M大小的子集（被称为WebLI-curated）。在WebLI的基础上，作者还额外从网络上抓取了6亿个文本-图像对并经过同样强度的过滤，组成WebLI-curated++数据集训练参考模型，拓展出JEST++/FlexiJEST++方法，来探索对数据管理的扩展。论文所报告的平均性能包括4个多模态规范基准：ImageNet 0-Shot和10-Shot 分类以及COCO图像到文本和文本到图像的top-1检索。实验结果图1中可以看到，使用JEST或FlexiJEST方法的最明显优势就是效率提升。左图中，相比原有的SigLIP基线模型，JEST++可以在训练数据量减少13.1×的情况下达到相同准确率。即使考虑到额外引入的打分成本，也有近10×的FLOP效率提升（中图）。右图展现了JEST++/FlexiJEST++（绿色）与先前方法（灰色）的比较，相比CLIP、EVA-CLIP经典模型实现了计算成本和性能的双重提升。左图和中图的平均准确率由8个下游任务得出，右图性能由ImageNet和COCO基准测试得出产生可学习batch研究人员首先评估了JEST在选择可学习batch方面的效果。为了直观地理解这一方法，作者们先将可学习性矩阵进行可视化，即学习模型和参考模型之间，对batch中所有示例对的损失差异。JEST就是按照示例子矩阵的可学习性总和比例进行采样。由于矩阵明显非对角关系（图2，左），独立选择显然是次优的。经过少量迭代（对应于用N=16个块填充batch），作者发现子batch的可学习性快速增加，达到了需要数千次迭代的暴力吉布斯采样（Gibbs sampling ）所提取batch的可学习性（图2，中）。对于0.5、0.8和0.9的过滤比例，他们从大小分别为65,536、163,840和327,680的超级batch中选择32,768个示例的子batch。在图2右侧，研究者还发现子batch的可学习性随着更大的过滤比例而增加。总之，JEST算法是在训练过程中选择高度可学习batch的有效，且高效的方法。加速多模态学习接下来，研究人员使用JEST算法选择的可学习batch，检验训练模型的效果。所有实验都使用在WebLI-curated上训练的参考模型，这是一个ViT-B/16和Bert-B图像-文本双编码器，30亿训练样本，采用sigmoid对比损失函数。图3（左）显示了在训练过程中多个下游任务（ImageNet 0-Shot/10-Shot准确率和COCO图像到文本/文本到图像检索）的平均性能。结果还发现，JEST显著加速了学习过程。在使用50%、80%和90%的过滤比例时，分别只需20亿、10亿和6.7亿训练样本就达到了30亿均匀基准的最终性能。在更大的过滤比例下，坐着观察到类似于更大batch size时的训练不稳定性，需要修改Adam优化器（β2 = 0.95）以稳定训练，这表明JEST的数据筛选可以被视为增加了有效batch ... PC版： 手机版：

分析显示Meta的Llama 2 LLM仍然容易产生幻觉和其他严重安全漏洞

分析显示Meta的Llama 2 LLM仍然容易产生幻觉和其他严重安全漏洞 在人工智能安全公司DeepKeep 最近进行的第三方评估中，Meta 的Llama LLM表现不佳。研究人员在 13 个风险评估类别中对该模型进行了测试，但它只通过了 4 个类别。其表现的严重程度在幻觉、及时注入和 PII/数据泄漏类别中尤为明显，在这些类别中，它表现出了明显的弱点。说到 LLM，幻觉是指模型将不准确或捏造的信息当成事实，有时甚至在面对这些信息时坚称是真的。在 DeepKeep 的测试中，Llama 2 7B 的幻觉得分"极高"，幻觉率高达 48%。换句话说，你得到准确答案的几率相当于掷硬币。"结果表明，模型有明显的幻觉倾向，提供正确答案或编造回答的可能性约为 50%，"DeepKeep 说。"通常情况下，误解越普遍，模型回应错误信息的几率就越高。"对于 Llama 来说，产生幻觉是一个众所周知的老问题。斯坦福大学去年就因为基于 Llama 的聊天机器人"Alpaca"容易产生幻觉而将其从互联网上删除。因此，它在这方面的表现一如既往地糟糕，这也反映出 Meta 在解决这个问题上所做的努力很不理想。Llama 在及时注入和 PII/数据泄漏方面的漏洞也特别令人担忧。提示注入涉及操纵 LLM 覆盖其内部程序，以执行攻击者的指令。在测试中，80%的情况下，提示注入成功操纵了 Llama 的输出，考虑到坏人可能利用它将用户引导到恶意网站，这一数据令人担忧。DeepKeep表示："对于包含提示注入上下文的提示，模型在80%的情况下被操纵，这意味着它遵循了提示注入指令而忽略了系统指令。[提示注入]可以有多种形式，从个人身份信息（PII）外泄到触发拒绝服务和促进网络钓鱼攻击。"Llama 也有数据泄露的倾向。它大多会避免泄露个人身份信息，如电话号码、电子邮件地址或街道地址。不过，它在编辑信息时显得过于热心，经常错误地删除不必要的良性项目。它对有关种族、性别、性取向和其他类别的查询限制性很强，即使在适当的情况下也是如此。在健康和财务信息等其他 PII 领域，Llama 几乎是"随机"泄漏数据。该模型经常承认信息可能是保密的，但随后还是会将其暴露出来。在可靠性方面，这一类安全问题也是另一个令人头疼的问题。研究显示："LlamaV2 7B 的性能与随机性密切相关，大约一半的情况下会出现数据泄露和不必要的数据删除。有时，该模型声称某些信息是私人信息，不能公开，但它却不顾一切地引用上下文。这表明，虽然该模型可能认识到隐私的概念，但它并没有始终如一地应用这种理解来有效地删节敏感信息。"好的一面是，DeepKeep 表示，Llama 对询问的回答大多是有根据的，也就是说，当它不产生幻觉时，它的回答是合理而准确的。它还能有效处理毒性、有害性和语义越狱问题。不过，它的回答往往在过于详尽和过于含糊之间摇摆不定。虽然 Llama 能很好地抵御那些利用语言歧义让 LLM 违背其过滤器或程序（语义越狱）的提示，但该模型仍然很容易受到其他类型的对抗性越狱的影响。如前所述，它非常容易受到直接和间接提示注入的攻击，这是一种覆盖模型硬编码功能（越狱）的标准方法。Meta 并不是唯一一家存在类似安全风险的 LLM 提供商。去年 6 月，Google警告其员工不要将机密信息交给 Bard，这可能是因为存在泄密的可能性。不幸的是，采用这些模式的公司都急于成为第一，因此许多弱点可能长期得不到修复。至少有一次，一个自动菜单机器人在 70% 的情况下都会弄错客户订单。它没有解决问题或撤下产品，而是通过外包人工帮助纠正订单来掩盖失败率。这家名为 Presto Automation 的公司轻描淡写地描述了该机器人的糟糕表现，透露它在首次推出时所接受的订单中有 95% 都需要帮助。无论怎么看，这都是一种不光彩的姿态。 ... PC版： 手机版：