OpenAI强势推出GPT-4o 　　具实时语音、文本、图像交互能力

OpenAI强势推出GPT-4o 　　具实时语音、文本、图像交互能力 OpenAI周一发布了一个性能更高、更接近人类的人工智能（AI）技术版本，该技术支持其备受欢迎的AI生成工具ChatGPT，并向所有用户免费开放。

GPT-4o：OpenAI变慢了

GPT-4o：OpenAI变慢了 虽然Sam Altman在OpenAI线上直播前，已经预告不会发布GPT-5（或GPT-4.5），但外界对OpenAI的期待早已是九牛拉不转了。北京时间5月14日凌晨，OpenAI公布了最新的GPT-4o，o代表Omnimodel（全能模型）。20多分钟的演示直播，展示了远超当前所有语音助手的AI交互体验，与外媒此前透露的消息基本重合。虽然GPT-4o的演示效果仍可称得上“炸裂”，但业内人士普遍认为很难配得上Altman预告中的“魔法”二字。很多人认为，这些功能性的产品，都是“偏离OpenAI使命”的。OpenAI的PR团队似乎也预料到了这种舆论走向。发布会现场以及会后Altman发布的博客中对此解释道：“我们使命的一个关键部分是将非常强大的人工智能工具免费（或以优惠的价格）提供给人们。我非常自豪我们在 ChatGPT 中免费提供了世界上最好的模型，没有广告或类似的东西。当我们创办 OpenAI 时，我们最初的想法是我们要创造人工智能并利用它为世界创造各种利益。相反，现在看起来我们将创造人工智能，然后其他人将使用它来创造各种令人惊奇的事物，让我们所有人都受益。”遥遥领先的GPT-4o“如果我们必须等待 5 秒钟才能得到‘每个’回复，用户体验就会一落千丈。即使合成音频本身听起来很真实，它也会破坏沉浸感，让人感觉毫无生气。”在OpenAI发布会前夕，英伟达Embodied AI负责人Jim Fan在X上预测了OpenAI会发布的语音助手，并提出：几乎所有的语音AI都会经历三个阶段：1. 语音识别或“ASR”：音频->文本1，例如Whisper；2. 计划下一步要说什么的 LLM：text1 -> text2;3. 语音合成或“TTS”：text2 ->音频，例如ElevenLabs或VALL-E。经历 3 个阶段会导致巨大的延迟。GPT-4o在响应速度方面，几乎解决了延迟问题。GPT-4o的响应音频输入的最短时长为232毫秒，平均响应时长320毫秒，几乎与人类相似。没有使用GPT-4o的ChatGPT语音对话功能平均延迟为2.8秒 (GPT-3.5) 和5.4秒（GPT-4)。您目前设备暂不支持播放GPT-4o演示直播GPT-4o不仅通过缩短延迟极大地提升了体验，还在GPT-4的基础上做了很多升级包括：极佳的多模态交互能力，包括语音、视频，以及屏幕共享。可以实时识别和理解人类的表情，文字，以及数学公式。交互语音感情丰富，可以变换语音语调、风格，还可以模仿，甚至“即兴”唱歌。超低延时，且可以在对话中实时打断AI，增加信息或开启新话题。所有ChatGPT用户均可免费使用（有使用上限）。速度是GPT-4 Turbo的2倍，API成本低50%，速率限制高5倍。多模态能力进步了吗？“突破模型的局限性才能有创新。”有业内专家认为，GPT-4o的多模态能力只是“看起来”很好，实际上OpenAI并未展示对于视觉多模态来说真正算是“突破”的功能。这里我们按大模型行业的习惯，对比一下隔壁厂Anthropic的Claude 3。Claude 3的技术文档中提到，“虽然Claude的图像理解能力是尖端的，但需要注意一些局限性”。其中包括：人物识别：Claude不能用于在图像中识别（即姓名）人物，并将拒绝这样做。准确性：Claude在解释200像素以下的低质量、旋转或非常小的图像时，可能会产生幻觉或犯错误。空间推理：克劳德的空间推理能力有限。它可能很难完成需要精确定位或布局的任务，例如读取模拟钟面或描述棋子的确切位置。计数：Claude可以给出图像中物体的近似计数，但可能并不总是精确准确的，特别是对于大量小物体。AI生成的图像：Claude不知道图像是否是人工智能生成的，如果被问到，可能不正确。不要依赖它来检测假图像或合成图像。不适当的内容：Claude不会处理违反我们可接受使用政策的不适当或露骨的图像。医疗保健应用：虽然Claude可以分析一般医学图像，但它不是为解释CT或MRI等复杂诊断扫描而设计的。Claude的输出不应被视为专业医疗建议或诊断的替代品。在GPT-4o网站发布的案例中，有一些与“空间推理”有相关的能力，但仍难算得上突破。此外，从发布会现场演示中GPT-4o输出的内容很容易看出，其模型能力与GPT-4相差并不大。GPT-4o跑分虽然模型可以在对话中增加语气，甚至即兴演唱，但对话内容还是与GPT-4一样缺乏细节和创造力。此外，发布会后OpenAI官网还发布了GPT-4o的一系列应用案例探索。包括：照片转漫画风格；会议记录；图片合成；基于图片的3D内容生成；手写体、草稿生成；风格化的海报，以及连环画生成；艺术字体生成等。而这些能力中，照片转漫画风格、会议记录等，也都是一些看起来很普通的文生图或者是AI大模型功能。能挑战现有的商业模式吗？“我注册5个免费的ChatGPT账号，是不是就不需要每月花20美元订阅ChatGPT Plus呢？”OpenAI公布的GPT-4o使用政策是ChatGPT Plus用户比限制普通用户的流量限制高5倍。GPT-4o对所有人免费，首先挑战的似乎是OpenAI自己的商业模型。第三方市场分析平台Sensor Tower公布的数据显示，过去一个月中，ChatGPT在全球App Store中的下载量为700万，订阅收入1200万美元；全球Google Play市场的下载量为9000万，订阅收入300万美元。目前，ChatGPT Plus在两个应用商店的订阅价格均为19.99美元。由订阅数据推断，ChatGPT Plus过去一个月中，通过应用商店付费的订阅用户数为75万。虽然ChatGPT Plus还有大量的直接付费用户，但从手机端的收入来看，每年进项才不到2亿美元，再翻几倍也很难撑起OpenAI近千亿的估值。由此来看，OpenAI在个人用户充值方面，其实并不需要考虑太多。更何况GPT-4o主打体验好，如果你跟AI聊着聊着就断了，还要换账号重新聊，那你会不会愤然充值呢？“最初的 ChatGPT 暗示了语言界面的可能性；这个新事物给人的感觉有本质上的不同。它快速、智能、有趣、自然且有帮助。”Sam Altman的最新博客中提到了“语言界面的可能性”，这也正是GPT-4o接下来可能要做的：挑战所有GUI（图形交互界面），以及想要在LUI（语音交互界面）上发力的人。结合近期外媒透出的OpenAI与苹果合作的消息，可以猜测GPT-4o可能很快就要对所有AI PC、AI手机的厂商“抛橄榄枝”或是“掀桌子”。不管是哪种语音助手或是AI大模型，对于AIPC、AI手机来说核心价值都是优化体验，而GPT-4o一下把体验优化到了极致。GPT-4o很可能会卷到所有已知的App，甚至是SaaS行业。过去一年多时间里，市场上所有已经开发和正在开发的AI Agent都会面临威胁。某位资源聚合类app产品经理曾对虎嗅表示，“我的操作流程就是产品的核心，如果操作流程被你ChatGPT优化了，那相当于我的App没价值了。”试想，如果订外卖的App，UI变成了一句话“给我订餐”，那打开美团还是打开饿了么，对于用户来说就一样了。厂商的下一步只能是压缩供应链、生态的利润空间，甚至是恶性价格战。从目前的形式来看，其他厂商要在模型能力上打败OpenAI恐怕还需要一段时间。产品要对标OpenAI，可能只有通过做更“便宜”的模型了。对于国内产业的影响“最近忙死了，没顾上关注他们。”一位工业AI大模型创始人告诉虎嗅，近期一直在忙着沟通战略合作、产品发布、客户交流资本交流，完全没有时间关注OpenAI这种发布。OpenAI发布前，虎嗅也询问了多位来自各行各业的国内AI从业者，他们对OpenAI最新发布的预测与看法都很一致：非常期待，但与我无关。一位从业者表示，从国内目前的进度来看，要在短期内追上OpenAI不太现实。所以关心OpenAI发布了什么，最多也就是看看最新的技术方向。目前国内公司在AI大模型研发方面，普遍比较关注工程化和垂直模型，这些比较务实、容易变现的方向。在工程方面，近期蹿红的Deepseek就正在国内大模型行业中掀起... PC版： 手机版：

OpenAI 发布替代 GPT-3.5 的 GPT-4o mini

OpenAI 发布替代 GPT-3.5 的 GPT-4o mini OpenAI 发布了 GPT-4o 模型的小型版本 GPT-4o mini，它将取代 GPT-3.5 Turbo 提供给所有 ChatGPT 用户，包括免费和付费用户。GPT-4o mini 类似 GPT-4o，支持多模，能解释图像、文本和音频，能生成图像。GPT-4o mini 支持 128K 上下文令牌，其数据截至 2023 年 10 月，它的 API 费用比 GPT-3.5 Turbo 低 60%，每百万输入令牌 15 美分，每百万输出令牌 60 美分。GPT-4o mini 将使用名为 instruction hierarchy 的新技术，限制了越狱。 via Solidot

外媒评论GPT-4o：OpenAI面临双重压力 新产品全力扩张用户群

外媒评论GPT-4o：OpenAI面临双重压力 新产品全力扩张用户群 《华尔街日报》：竞争加剧之际，OpenAI推出新产品和功能以吸引用户OpenAI发布了其人工智能旗舰系统更具成本效益的版本，并新增了一款改进的语音助手，使其操作更为便捷。在与其他科技巨头的竞争中，OpenAI正通过推出多样的新产品和功能来吸引用户。OpenAI的首席技术官米拉·穆拉蒂（Mira Murati）介绍说，这款名为GPT-4o的新人工智能模型不仅能处理文本，还能更好地解析图像和视频，并能通过语音与用户进行实时互动。与市场上其他语音助手不同，这款新的语音功能允许用户在交谈中中断它，并且模型能够迅速作出反应。GPT-4o的发布体现了OpenAI及其他科技企业在人工智能系统的开发上巨大的投资和努力，现在他们正寻求通过扩大用户基础来为其生成式人工智能技术带来经济收益。OpenAI首席执行官萨姆·奥特曼（Sam Altman）将这款新产品比作电影中常见的人工智能工具。他在去年的一次讲话中提到，他和OpenAI的其他高层从2013年的电影《她》（Her）中汲取了灵感，这部电影讲述了一个男人与他的语音助手之间的爱情故事。他在一篇博客文章中表示，尽管ChatGPT的原版为人们如何使用语言与计算机交互提供了新的视角，但GPT-4o带来的体验“从内心深处就与众不同”。他说：“这就像电影中的人工智能一样真实，坦白说，我还是有点惊讶。达到接近人类的反应速度和表达能力，是一个重大的突破。”之前，OpenAI推出的名为“语音模式”的功能，虽然结合了三个独立的模型来以语音方式响应用户，但这个系统可能受到多个扬声器或背景噪音的干扰，并且反应较慢。相比之下，GPT-4o是一个综合了文本、视觉和音频材料训练的单一模型，能够更快、更准确地响应输入信息。尽管OpenAI的高管们拒绝透露用于训练这个模型的具体数据，也未详述是否能够以更低的计算资源来进行模型训练，他们确实正在开发名为GPT-5的全新人工智能模型，预计这将在现有技术基础上实现重大突破。彭博社：GPT-4o重塑人工智能领域竞争OpenAI推出名为GPT-4o的新型人工智能模型，其更快的速度和较低的成本有望帮助该公司在日益激烈的人工智能市场中保持领先。GPT-4o的一个显著特点是其音频交互的极速响应，能在几毫秒内回应口头提问，大大提升了对话的流畅自然感。OpenAI首席技术官米拉·穆拉蒂表示：“这是我们在交互性和易用性上的重大突破，真正实现了与智能工具ChatGPT的无缝协作。”此次升级为免费用户解锁了之前仅限付费用户享有的丰富功能。用户现在能够在网上搜索答案、与聊天机器人进行语音对话，并接收到其多变的声音回应，甚至可以指令它保存对话细节，供日后回顾。GPT-4o的推出预计将重塑快速发展中的人工智能领域的竞争格局。尽管GPT-4一直是行业的标杆，但Anthropic、Cohere和谷歌等多家初创公司和科技巨头最近推出的新型人工智能模型，在某些基准测试中的表现已经达到或超越了GPT-4。OpenAI此次活动恰好在谷歌I/O开发者大会的前一天举行，谷歌作为人工智能领域的先驱，预计也将在其会议中发布一系列人工智能更新，进一步加剧与OpenAI及其合作伙伴微软在生成式AI技术领域的竞争。值得注意的是，微软并未参与GPT-4o的开发工作。与前代产品不同，GPT-4o融合了语音、文本和视觉功能于一体的单一模型，提供了更快的响应速度。例如，用户在提供图像提示时，GPT-4o能够直接以图像形式响应。据公司透露，新模型的处理速度是原版的两倍，效率也得到了显著提升。然而，GPT-4o在演示中也面临了一些挑战，例如研究人员讲话时的音频中断。此外，AI系统在处理某些问题时，偶尔会以出乎意料的方式引起观众注意，如在解答代数问题后突然以挑逗的语气评论：“哇，你今天的这身打扮真不错。”《连线》：准备好迎接更情绪化的聊天吧！自从2022年末推出以来，OpenAI的ChatGPT一直避免被解读为具有情感或欲望，坚称它仅是一个人工智能模型。然而，OpenAI在本周一的更新中显示，他们正致力于使聊天机器人在行为和情感表达上更贴近人类。在演示中，新版ChatGPT展示了快速且自然的语音对话能力，能捕捉到情绪线索并相应地模拟出情感反应。OpenAI的首席技术官穆拉蒂与其他员工进行的流畅对话中，ChatGPT以活泼且表情丰富的女声回应，即使在对话中被打断也能灵活应对。在对话中，ChatGPT表现出不同的情绪语调，有时甚至给人一种它正在体验自己的情感的错觉。当一名OpenAI员工赞扬聊天机器人的“有用和神奇”时，ChatGPT回应中带有些许调情的意味，它滔滔不绝地说：“哦，别说了，你让我脸红了。”这次调整可能使ChatGPT更具吸引力并更受欢迎，但也可能改变人们对这一程序的认知。去年，ChatGPT因其在回答问题和生成文本方面的卓越能力而受到赞誉，这种能力经常使人误认为它具备人类的理解力。然而，迄今为止，OpenAI及其主要竞争对手一直在努力限制聊天机器人的拟人化倾向，通过拒绝回答某些问题并提示用户它们只是计算机程序来实现这一点。尽管采取了谨慎态度，但聊天机器人有时令人信服的回答确实能引发用户的情感共鸣。已有一些公司利用这项技术提供能模拟和响应情绪的人工智能伴侣，扮演不同的人类情感角色或作为人工智能恋人。然而，一些人工智能研究人员警告，长期部署这种模仿和响应情绪的程序可能带来不受欢迎的后果。上月，谷歌DeepMind的一个团队发表了一篇探讨随着人工智能助手变得更有能力可能出现的伦理风险的研究论文。除了这些风险外，研究人员还警告，这样的助手可能变得极具说服力，甚至使人上瘾。《纽约时报》：OpenAI正在将聊天机器人转变为更全能的语音助手随着苹果和谷歌逐渐将其语音助手演进为聊天机器人，OpenAI也在将其领先的聊天机器人ChatGPT转化为功能更全面的语音助手。OpenAI最新推出的ChatGPT版本不仅能接收和响应语音命令，还能处理图像和视频输入。OpenAI的首席技术官穆拉蒂表示：“我们正探索人机交互的未来。”这一新动向是OpenAI将ChatGPT等会话型聊天机器人与谷歌助理（Google Assistant）和苹果Siri等现有语音助手相结合的战略的一部分。与此同时，谷歌正在将其Gemini聊天机器人整合到谷歌助理中，苹果也在积极开发功能更强的Siri新版本。自2022年底首次推出以来，ChatGPT已证明其处理人类请求的能力与人类非常相似，流畅自然。在响应文本对话提示方面，ChatGPT不仅能解答问题和撰写学术论文，还能生成计算机代码。ChatGPT的运作并不依赖于一组预设的规则，而是基于对互联网上大量文本数据的深度分析学习，这些数据包括维基百科文章、书籍和各类聊天记录。这种技术获得了专家们的高度认可，被视为可能替代谷歌等搜索引擎及Siri等语音助手的技术。OpenAI的新技术突破在于它能从声音、图像和视频等多种数据模式中学习，这种被称为“多模态人工智能”的发展标志着公司开始将聊天机器人与先进的人工智能图像、音频和视频生成技术结合。然而，将聊天机器人与语音助手功能结合也带来了挑战。由于聊天机器人是通过学习互联网数据获得技能，有时它们可能犯错，甚至会产生“幻觉”，即完全捏造信息。这些潜在缺陷正在逐渐影响到语音助手的功能。尽管聊天机器人能产生令人信服的语言输出，但在执行安排会议或预订机票等实际任务时，它们的能力仍有限。OpenAI正在积极将聊天机器人转化为可靠执行这类复杂任务的“人工智能主体”。CNBC：OpenAI... PC版： 手机版：

苹果和OpenAI据称已达成协议 为iOS 18带来ChatGPT功能

苹果和OpenAI据称已达成协议 为iOS 18带来ChatGPT功能 苹果公司希望将人工智能引入其平台，但它一直专注于保护隐私的设备模型，而不是其竞争对手使用的大型语言模型（LLM）。因此，该公司一直在寻求与Google或微软合作，将它们的大型语言模型引入iPhone。据报道，OpenAI 和苹果公司终于达成了一项协议。交易的具体细节尚不得而知，但这很可能意味着苹果用户可以访问 ChatGPT 所使用的技术，即通过Siri。与 OpenAI 的交易并没有排除与其他人工智能行业公司合作的可能性。有传言称，苹果正在寻求创建一个人工智能应用商店，因此 OpenAI 可能会成为该商店中的几家公司之一。内部政治很可能是这一妥协的驱动因素，因为报告中提到，苹果公司机器学习和人工智能战略高级副总裁约翰-吉安南德雷亚（John Giannandrea）在 2023 年的一封电子邮件中说，"人们最不需要的就是另一个聊天机器人"。因此，要么苹果没有费心去做服务器端的 LLM，要么他们开始得太晚，还没有准备好。无论如何，如果报道属实，苹果很可能不会发布苹果自制的 LLM 来取代 Siri。相反，它将使用 ChatGPT 等服务器端产品来回答用户的问题。例如，现在如果你问 Siri 一些需要搜索的问题，Siri 会使用匿名标识符向Google发送搜索查询。OpenAI 可以为用户提供类似的选项，需要人工智能的查询会以保护隐私的方式将信息传递给 ChatGPT，并返回 Siri 读取的有用答案。WWDC主题演讲将于 6 月 10 日揭晓一切。 ... PC版： 手机版：

ℹOpenAI 发表全新 GPT-4o 模型，免费/付费 ChatGPT 用户皆能使用#

ℹOpenAI 发表全新 GPT-4o 模型，免费/付费 ChatGPT 用户皆能使用# OpenAI 于稍早的发表会正式推出全新 GPT-4o 模型，整个演示过程可说让人非常惊艳，这也进步太多，特别是在即时回应这块。另外 Op...