谷歌发布史上最大的视觉语言模型 PaLM-E

谷歌发布史上最大的视觉语言模型 PaLM-E 谷歌 PaLM-E 有着5620亿参数 (ChatGPT 为1750亿参数) ，结合了 PaLM-540B 语言模型与 ViT-22B 视觉模型。将现实世界的连续传感器模态直接纳入语言模型，"为AI移植眼睛"从而建立单词和感知之间的联系。 PaLM-E 直接从机器人摄像头获取原始图像数据，并根据自然语言指令进行动作规划和执行，这样就避免了人工预处理或标注数据的需要，可以端到端自主学习这些任务。 研究团队同时发现： 1. 语言模型越大，在视觉语言和机器人任务训练时就越能保持其语言能力，PaLM-E 的5620亿的参数量刚好让它保留住了几乎所有语言能力。 2. "通才AI"的正迁移能力，同时在多个任务领域训练的 PaLM-E，单任务能力相比"专精AI"显着提高。 3. 除了人机交互方面有着重大进展，团队还发现了 PaLM-E 有着诸如多模态思维链推理和多图像推理等新兴能力，在 OK-VQA 视觉问答基准测试上达成了新的 SOTA (最佳水平AI)。

ChatGPT-4o，OpenAI的一小步，人类“AI助理”的一大步

ChatGPT-4o，OpenAI的一小步，人类“AI助理”的一大步 它长出了“眼睛”，可以通过摄像头看到你，比如它通过研究员上扬的嘴角判断他的心情、通过他周围的环境背景判断了他正在做什么、甚至给出了造型建议；它能“看到”你的电脑桌面，直接帮你查看写的代码有什么问题。它有了更灵敏的“耳朵”，能听懂的不只是语言，还能听懂研究员过于急促的呼吸声，并引导他慢慢平稳呼吸、放松下来。OpenAICTO Mura Murati 宣布推出 ChatGPT-4o | 图片来源：OpenAI它有了更灵活的“嘴巴”，对话不再有延时，你能随时打断它、它能随时接住你的话。它的声音能带入感情，比如更冷静一点、更激昂一点、甚至讽刺一点。它还能唱歌。它也有了更聪明的“大脑”。它能帮研究员一步步解不等式，还可以做同声翻译、你可以通过它跟不同语种的人们交流。这些强大的能力背后，源自 OpenAI 推出的新模型 GPT-4o。与现有模型相比，GPT-4o 的最大进步在于，它可以实时对音频、视觉和文本进行推理换句话说，它让ChatGPT实现了真正意义上的多模态交互。这不仅仅是技术进步的追求，更是应用普及的追求。OpenAI 的使命之一是让 AI 普惠每个人，让用户能顺滑地用上 AI 是至关重要的。在“模型即应用”的时代，这种交互体验最终还是靠模型能力的提升。OpenAI 称，GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步。发布会上，Mira Murati 宣布 ChatGPT-4o 将免费向所有用户开放，而付费和企业用户，可以抢先获得体验。电影《Her》上映于 2013 年，它讲述了一位人类爱上一位人工智能语音助理的故事。从今天 ChatGPT 呈现的能力来看，这样的想象正在加速成为现实。ChatGPT 的惊人进步：变身人类“超级助理”，甚至不需要人类参与在 OpenAI 的官网上，呈现了 ChatGPT 作为个人语音“超级助理”的更多惊人应用场景。首先是面向单个用户，和人一样，它提供的主要是“情绪价值”与“认知价值”。比如它能讲笑话、唱生日快乐歌、玩游戏、逗小狗、给人催眠、让人放松等等；它能充当面试官，给人提供面试建议；它还能给一位盲人提供环境观察，给他讲述看到的景色、提醒他过马路的路况。盲人用户使用 ChatGPT-4o“观察”整个世界 | 图片来源：OpenAI接着是面向多个用户，它提供的更多是一种“协同价值”。比如给两个语言不通的人充当翻译，让他们能无障碍沟通；给两个人做“剪刀石头布”的游戏裁判，先喊口令让游戏开始、之后还能准确判断是哪个人赢了；充当一名“家教”，帮一位父亲辅导他的孩子做作业；甚至作为一名“会议第三方”，主持和记录多人会议。最有意思的还是，不同 ChatGPT 之间的对话。这种无需人类参与的沟通，不仅充满了科幻感，更让人开始想象无需人类协作、而让机器代替人类协作的未来。在一段演示中，一位用户要求一部手机的 ChatGPT 代表自己，向另一部手机的 ChatGPT 申请售后，结果这两个 ChatGPT 毫无阻碍地聊了两分钟，顺利帮这位用户“换了货”。而 OpenAI 总裁 Greg Brockman 则做了一个调皮的演示，他让两个 ChatGPT 互动并唱了歌。OpenAI 总裁 Greg Brockman 演示两个 GPT 的互动 ｜图片来源：OpenAI一位曾在 10 年前就开始做“AI 语音助理”的前大厂高管对极客公园表示，他当时就设想过 AI 助理的终极形态应该是“多模态、无所不能”，但彼时技术并不支持，他认为 ChatGPT 会加速这种设想实现的可能只是他没想到，这个过程会来得这么快。他认为，实现 AGI 的一个关键标志是，机器是否能具备了自主学习、自主迭代、自主解决问题等能力。这个突破看起来很遥远，但当两个 ChatGPT 开始互相聊天的时候，这个鸿沟看起来似乎浅了一点点。GPT-4o 多模态大模型的技术进步、以及安全性这些惊艳的产品表现，根本上源自于 GPT-4o 多模态大模型的技术进步。后者分为文本、语音、图像三部分，GPT-4o 在这三块都有提升，尤其是后两者。在文本方面，据 OpenAI 的技术报告，GPT-4o 在 MMLU（语言）、GPQA（知识）、MATH（数学）、HumanEval（编程）的评测指标上，都超出了 GPT-4T、GPT-4 (23 年 3 月最初发布版本)，以及竞品 Claude 3 Opus、Gemini Pro 1.5、Llama3 400b、Gemini Ultra 1.0。比如在 0-shot COT MMLU 上，GPT-4o 创下了 88.7% 的新高分。GPT-4o 在文本上的成绩相当优异|图片来源：OpenAI最关键的，是音频、多语言和视觉上的进步。在音频方面，过去 ChatGPT 的音频缺陷是需要经过三个独立的模型，从而存在延迟、且无法承载丰富信息。它先由第一个模型将音频转录为文本，再由 GPT-3.5 或 GPT-4 接收文本并输出文本，最后由第三个模型将该文本转换回音频一方面，它使得音频的传输存在延迟，GPT-3.5 的平均延迟为 2.8 秒，GPT-4 的平均延迟为 5.4 秒。另一方面，模型会丢失大量信息，从而无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。而 GPT-4o 的解决办法是，跨文本、视觉和音频端到端地训练了一个新模型，这意味着所有输入和输出都由同一神经网络处理。OpenAI 称这是其突破深度学习界限的最新举措。目前，GPT-4o 可以在短至 232 毫秒、平均 320 毫秒的时间内响应音频输入，与人类的响应时间相似。同时在音频 ASR 性能和翻译性能上，GPT-4o 都比 Whisper-v3（OpenAI 的语音识别模型）的性能更优。M3Exam 基准测试既能用于多语言评估，也可以用于视觉评估。它由多项选择题组成，包括图形和图表。在所有语言的基准测试中，GPT-4o 都比 GPT-4 更强。另外在视觉理解评估上，GPT-4o 在视觉感知基准上都实现了最先进的性能。GPT-4o 在视觉理解上同样能力不错 | 图片来源：OpenAI一位大模型训练者曾对极客公园表示，模型的技术领先性从来不是靠打榜评分，而是靠用户最真实的感受和体验。从这个角度来说，GPT-4o 的技术领先性将很容易见分晓。OpenAI 表示，GPT-4o 的文本和图像功能将于发布会当天在 ChatGPT 中推出。免费用户就可以使用，不过 Plus 付费用户能享受高达 5 倍的消息容量。在未来几周内，OpenAI 会在 ChatGPT Plus 中推出新版本的语音模式 GPT-4o alpha。而开发人员现在就可以在 API 中访问 GPT-4o 的文本和视觉模型。与 GPT-4 Turbo 相比，GPT-4o 速度提高了 2 倍、价格降低了一半、速率限制提高了 5 倍。在未来几周内，OpenAI 计划向一小部分值得信赖的合作伙伴推出 GPT-4o 的新音频和视频功能。一项强大的技术最令外界担忧的，就是它的安全可控性。这也是 OpenAI 最核心的考虑之一。OpenAI 表示，GPT-4o 通过过滤训练数据和通过训练后细化模型行为等技术，在跨模式设计中内置了安全性。其还创建了新的安全系统，为语音输出提供防护。为了保证更好的安全性，OpenAI 表示在接下来的几周和几个月里，将致力于技术基础设施、培训后的可用性以及发布其他模式所需的安全性。OpenAI 从没让外界失望，再次引领科技圈的未来作为这波 AI 浪潮的开启者、引领者，OpenAI 的每一次发布和更新，都关系着其庞大用户量的涨跌、公司竞争的进退、以及整个行业的关注和走向。在这次发布会之前，外界对 OpenAI 颇多谣传、也包括质疑。一周前，外媒报道此次 OpenAI 要发布的是一款搜索引擎在一年最重要的新闻发布时刻，这家公司没有推出 GPT-5，这引来外界对其创新力的颇多怀疑。而如果无法拿出足够创新力的技术和产品，这家公司将难以重振用户的增长、满足整个市场对它的期待。自 2022 年底推出 ChatGPT 后，这家公司的用户量经历了大起大落。据 Similarweb 估计，其全球访问量在 2023 年 5 月达到... PC版： 手机版：

Google IO 将公布 PaLM 2 大模型

Google IO 将公布 PaLM 2 大模型 Google 将在年度开发者大会 Google I/O 上宣布它的新版通用大语言模型 PaLM 2。 PaLM 是 Google 在 2022 年 4 月宣布的大模型，有 5400 亿参数，Google AI 和 DeepMind 后在此基础上开发了一个用医学数据集微调的版本 Med-PaLM，它是首个在美国医师资格考试中获得及格分的 AI 模型。 在 5 月 10 日周三举行的开发者大会上 Google 宣布的 PaLM 2 将是该公司最先进的大模型，其内部代号为“Unified Language Model（统一语言模型）”，包含逾百种语言，能执行范围广泛编程和数学测试，以及创意写作测试和分析。

今天的大新闻让我们瞥见未来，Google 公布了 PaLM-E 具身语言模型，B 参数，将现实世界的信息通过传感器纳入语言模型，

今天的大新闻让我们瞥见未来，Google 公布了 PaLM-E 具身语言模型，B 参数，将现实世界的信息通过传感器纳入语言模型，让机器人可以连续对物体进行适应性操作。https://palm-e.github.io

Claude 迈进企业领域的一大步 ，与Scale 深度合作

Claude 迈进企业领域的一大步 ，与Scale 深度合作 Anthropic 宣布与Scale的合作，Scale是构建、部署和管理生成性人工智能应用的领先平台。Scale的企业客户现在就能够使用Claude。 全新的伙伴关系使客户能够利用Scale的服务： - 如专家提示工程和模型验证，以提高性能和识别弱点。 - Scale的企业级安全将通过客户的私有AWS环境提供 - Scale的数据连接器将允许客户导入数据库、Confluence、Google Drive和Outlook等专有数据源，以便大规模地与Claude合作。 注：与微软Azure、Google Cloud等云平台的区别，是一个更加专注于为AI和ML应用程序提供高质量训练数据的数据注释和标签服务提供商。 通过将Anthropic的克劳德模型和宪法人工智能系统与Scale的强大工具和功能相结合，客户获得了一个企业就绪的解决方案，更多合作细节即将分享。 Anthropic 的首席执行官Dario Amodei说："与Scale合作，使我们能够以一种周到的、可扩展的方式将我们 Claude带给更多客户。通过将Scale的 AI工程能力与我们基于价值观的模型开发方法相结合，客户现在在构建和部署生成型人工智能应用时有了更多的帮助。我对这种合作关系以及我们为积极塑造人工智能的未来而共同开展的工作感到兴奋。" 人工智能的未来是协作性的。 官方报道：

Perplexity 的一小步，搜索引擎的一大步！

Perplexity 的一小步，搜索引擎的一大步！ 终于可以整理多个线程，打包到 Colletions 管理 可以直接分享打包的 Colletions 给你的小伙伴 也能够邀请协作者和你一起搜集 Colletions～ 正所谓人多力量大，Perplexity 绝对是资料搜集利器 1⃣ 每一个回答都可以溯源找到源网站来审核准确性 2⃣ 同时也可以把网站的图片直接在 Perplexity 中呈现 3⃣ 持续追踪线程，随时随地查看和更新，一点点创造 4⃣ AI 拿到不同网页的信息并直接整合汇总 例如，我建立了一个关于 iPhone 的 Colletion： 目前问了5个做示范： Why does the iPhone 15 devote extensive discussion to environmental protection? The color of iPhone 15 Detail of iPhone 15 Reddit: Discussion about iPhone 15 Specifications of the iPhone 15 series