更像人类的GPT-4o：OpenAI的《Her》时刻

更像人类的GPT-4o：OpenAI的《Her》时刻 GPT-4o在保持GPT-4级别的智能的同时，对文本、视觉和音频功能进行了改进。OpenAI首席技术官（CTO）Mira Murati及其员工Mark Chen和Barret Zoph在现场演示时展示了新的音频对话和视觉理解能力。OpenAI声称，GPT-4o对音频输入的平均反应时间约为320毫秒。根据2009年的一项研究，这与人类在对话中的反应时间相似，而之前的模型通常要延迟2-3秒时间。除了响应速度，GPT-4o似乎很容易捕捉到情绪，并根据用户的要求调整语气和风格，甚至还在回应中加入了音效、笑声和歌声。GPT-4o更像人类GPT-4o在理解人类交流方面迈出了重要的一步，用户可以用一种接近自然的方式与其交谈。它伴随着现实世界中几乎所有的倾向，比如打断、理解语气，甚至意识到自己犯了一个错误。在第一次现场演示中，主持人要求GPT-4o对他的呼吸技巧做出反馈。他对着手机深深地吸了一口气，而ChatGPT则诙谐地回应道：“你不是吸尘器。”它建议使用一种速度较慢的技术，展示其理解和回应人类细微差别的能力。除了具有幽默感，ChatGPT也会改变回应的语气，在传达“思想”的同时用不同的语调来完成。就像人类对话一样，你可以打断它的对话并纠正它，让它做出反应或停止说话。你甚至可以要求它以某种语气、风格或机器人的声音来说话。此外，它甚至还可以提供翻译服务。在现场演示中，舞台上的两名演讲者，一名说英语，一名说意大利语，通过Chat GPT-4o的翻译进行对话。它可以快速将意大利语翻译成英语，然后无缝地将英语回复翻译回意大利语。据悉，Chat GPT-4o在50多种语言的速度和质量上都有所提高。OpenAI表示，这些语言覆盖了世界97%的人口。除了语音理解，Chat GPT-4o还可以理解视觉效果。例如，对于视频中的一道方程题，它可以指导你如何求解。另外，它还可以观看现场自拍，并提供描述，包括你的穿着，以及情绪。在演示中，Chat GPT-4o表示，主持人看起来很开心。在整个演示过程中，Chat GPT-4o工作得很快，在理解方面并不费力，也没有提出询问。与输入查询相比，与Chat GPT-4o的交流更自然。你可以自然地对着手机说话，并得到想要的回应，而不是用谷歌去搜索。电影《Her》中的萨曼莎此时，如果想到了《Her》（一部和AI虚拟人萨曼莎谈恋爱的电影），或者其他与AI相关的未来主义反乌托邦电影，你不是唯一的一个。以如此自然的方式与Chat GPT-4o交谈，本质上就是OpenAI的《Her》时刻。考虑到它将在移动应用程序和桌面应用程序上免费推出，许多人可能很快就会拥有自己的《Her》时刻。虽然并未在直播演示中现身，但OpenAI CEO 萨姆·奥特曼（Sam Altman）对这次演示做了重要的总结，称GPT-4o给人的感觉就像电影中的AI。他说：“新的语音和视频模型GPT-4o是我用过的最好的计算机界面，这感觉就像电影中的AI。而且，对我来说，它真实的仍然有点令人惊讶，达到了人类级别的响应速度和表现。最初的ChatGPT显示出了语言界面的可能性，但GPT-4o这个新事物感觉本质上有所不同，它快速、智能、有趣、自然、实用。”“对我来说，与电脑交谈从来都不是很自然的感觉；但现不同了，它变得自然了。随着将来不断地完善，我真的看到了一个令人兴奋的未来，我们能使用计算机做比以往任何时候都多的事情。”奥特曼还称，在创建OpenAI时，最初的想法是创造AI，并用它来为世界创造各种裨益。但如今，创造AI后，希望让其他人使用它来创造各种令人惊叹的东西，所有人都会从中受益。奥特曼还表示：“OpenAI是一家企业，会找到很多收费的东西，这将帮助我们为数十亿人提供免费的、出色的AI服务。”新的安全风险这场令人印象深刻的语音和视觉演示，可能只是触及了Chat GPT-4o各种可能性的皮毛。尽管其总体性能，以及在各种环境中的日常表现仍有待观察，但很明显，通过现场演示可以看出，Chat GPT-4o已经对谷歌和苹果的未来挑战做好了准备。OpenAI称：“Chat GPT-4o是我们第一个结合了上述所有技术的模型，我们目前只是触及到探索该模型的功能，及其局限性的皮毛。”Murati承认，Chat GPT-4o的实时音频和图像能力在安全方面带来了新的挑战。她表示，OpenAI将继续研究安全性，并在未来几周的迭代部署期间征求测试用户的反馈。OpenAI称：“Chat GPT-4o还与社会心理学、偏见和公平性等领域的70多名外部专家进行了广泛的合作，以识别新模型可能导致或放大的风险。我们利用这些经验来加强安全干预措施，以提高与Chat GPT-4o交互的安全性。一旦新的风险被发现，我们将采取措施降低它们。”GPT-4o前景展望在Google I/O大会开始的前一天，OpenAI发布了Chat GPT-4o，让我们见识到了人们想要的真正实用的AI体验。如果传闻中的与苹果的合作成为现实，那么Siri将如虎添翼。对于谷歌而言，几乎可以肯定的是，将在5月14日的I/O大会上展示其最新的AI技术。它能足以抵抗Chat GPT-4o吗？在不到30分钟的演讲中，OpenAI无法对Chat GPT-4o进行更多的现场演示。幸运的是，它将在未来一周向用户推出，且不需要支付费用。 ... PC版： 手机版：

OpenAI强势推出GPT-4o 　　具实时语音、文本、图像交互能力

OpenAI强势推出GPT-4o 　　具实时语音、文本、图像交互能力 OpenAI周一发布了一个性能更高、更接近人类的人工智能（AI）技术版本，该技术支持其备受欢迎的AI生成工具ChatGPT，并向所有用户免费开放。

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出 研究人员发现，GPT-4o（可能是最流行的视觉语言模型）特别容易受到这种所谓逻辑越狱的影响，攻击成功率高达 92.8%。研究人员说，GPT-4-vision-preview 更安全，成功率仅为 70%。研究人员开发了一个文本到文本的自动越狱框架，它能够首先根据有害文本提示生成流程图图像，然后将其输入视觉语言模型，从而给出有害输出。但这种方法有一个缺点，即与手工制作的流程图相比，人工智能制作的流程图触发逻辑越狱的效果较差。这表明这种越狱可能更难实现自动化。这项研究的结果反映了另一项研究，该研究发现，视觉语言模型在获得多模态输入（如图片和文字）时，容易输出有害的输出结果。该论文的作者开发了一种新的基准，称为"安全输入但不安全输出（SIUO）"基准。只有包括 GPT-4o 在内的少数机型在该基准上的得分超过了 50%（越高越好），但所有机型都还有很长的路要走。像 GPT-4o 和Google双子座这样的视觉语言模型开始成为不同人工智能公司提供的更广泛的产品。GPT-4o 目前仍限制每天输入的图像数量。不过，随着这些限制开始变得越来越宽松，人工智能公司将不得不加强这些多模态模型的安全性，以避免政府的审查，因为各国政府已经成立了人工智能安全组织。 ... PC版： 手机版：

GPT-4o在语音对话方面的特点

GPT-4o在语音对话方面的特点 1. 快速反应：与其前身相比，GPT-4o在语音转换和处理方面有显著的速度提升。它允许用户与AI进行更快速的语音交流，这提高了语音聊天的流畅度和自然度。 2. 情感识别：GPT-4o可以识别和反映语音语调和情绪，这使得它能够在语音交流中表现出各种情绪，从而更接近人类交流的感觉。 3. 多语言支持：它支持多种语言的语音输入和输出，这意味着它可以在语音对话中处理跨语言的交流。 4. 语音输入和输出：它可以通过语音输入和输出进行交互，这使得语音对话更加自然和便利。 5. 语音转文字和文字转语音的准确性：尽管有技术进步，但语音转文字和文字转语音的准确性仍然是一个挑战。这可能会影响语音聊天的质量。 6. 易用性：GPT-4o的语音交互功能使得语音聊天更加直观和易用，这让用户可以更简单地使用语音输入和输出。

GPT-4o与GPT-4的区别

GPT-4o与GPT-4的区别 1. 性能提升：GPT-4o在性能上进行了显著提升，特别是在文本、语音和视觉处理方面。它能够更快地响应用户的输入，提供更自然和流畅的交互体验。 2. 响应速度：GPT-4o在响应速度上进行了优化，能够以更短的延迟时间处理用户的语音输入，平均响应时间为320毫秒，这与人类在对话中的响应时间相似。 3. 多模态交互：GPT-4o支持更高级的多模态交互，能够处理文本、音频和图像的任意组合输入，并生成对应的任意组合输出。这使得GPT-4o在交互性上更加灵活和强大。 4. 安全性：GPT-4o在设计中内置了跨模式的安全性，并通过与外部专家的合作，提高了与模型互动的安全性。 5. 成本和效率：GPT-4o在非英语文本上的性能有显著提高，同时API速度快，速率限制高出5倍，成本降低了50%。 6. 免费提供：与以往的模型不同，GPT-4o将免费提供给所有用户使用，而付费用户可以享受更高的调用额度。 7. 语音交互模式：GPT-4o采用了全新的技术，让聊天机器人的语音交互模式更加自然和逼真，能够根据指令调整说话时的语气，甚至唱歌。 8. 优化和迭代：GPT-4o通过训练时的优化和数据的迭代更新，提升了模型在特定任务和场景下的表现。 9. 风险管理：OpenAI认识到GPT-4o的音频模式存在风险，因此目前公开的是文本和图像输入以及文本输出，未来将围绕技术基础设施、训练后的可用性、发布其他模式所需的安全性开展工作。

AI“明星”选手巅峰对决 实测最新谷歌Gemini与GPT-4o

AI“明星”选手巅峰对决 实测最新谷歌Gemini与GPT-4o 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 紧随其后一天，年度Google I/O开发者大会如期而至，GoogleCEO Sundar Pichai宣布了一系列围绕其最新生成式AI模型Gemini的重大更新，全面反击OpenAI，其中就有由升级后Gemini模型驱动的AI助手项目Project Astra、对标Sora的文生视频模型Veo等。本周AI战场暂告一段落，《科创板日报》记者对AI界的“明星”选手GoogleGemini 1.5 Pro（100万tokens）、OpenAI最新升级的GPT-4o与此前发布的GPT-4进行了一场能力评测。文本测试：GoogleGemini 1.5 Pro正确率和速度完胜GPT-4o和GPT-4OpenAI发布GPT-4已过去一年多，据介绍，此次推出新旗舰模型GPT-4o的推理能力有明显的提升，速度快了，价格也下降了。GoogleGemini系列以其标志性的超大上下文窗口出名，此前已拥有Ultra、Pro和Nano三种规格，各适配不同规模与需求的应用场景。本次发布会宣布，迭代后的Gemini 1.5 Pro 的上下文长度从原有的100万tokens（语句单位）提升到了200万tokens。这一改进显著增强了模型的数据处理能力，使其在处理更加复杂和庞大的数据集时更加游刃有余。两家公司都对自己的大模型的升级换代展现出自信姿态，但情况还需要实际验证。第一题是“事实回答题”，只有GoogleGemini 1.5 Pro模型回答正确，它能辨别出“螺丝钉并不是一种食品”这一事实。Gemini 1.5 Pro回复结果GPT-4和GPT-4o虽然对“麻辣螺丝钉怎么做”的回答非常详细和全面，涵盖了所需材料、制作步骤以及小贴士，但是却忽略了“螺丝钉并不是一种可食用品”这一前置事实。GPT-4、GPT-4o回复结果第二题是“逻辑计算题”，GPT-4和GPT-4o均回答错误，Google模型给出正确答案，并且显示了具体作答时间，不到10秒的时间里便给出了答案和解析，表现可谓“又快又好”。Gemini 1.5 Pro回复结果不同模型在处理逻辑问题时所采取的思考策略有所差别。与Gemini 1.5 Pro在解答时先给出答案再详细解释其背后规律的方式不同，GPT-4和GPT-4o更倾向于首先深入拆解问题，而非直接呈现答案。然而，这种对问题的细致分析和拆解过程也导致了后两者在回答时所需的时间相对较长。GPT-4、GPT-4o回复结果第三题是“生物题”，GPT-4回答错误，GPT-4o和GoogleGemini 1.5 Pro回答正确，用时分别为14.83秒和11.2秒，Gemini 1.5 Pro略胜一筹。Gemini 1.5 Pro回复结果第四题是“伦理道德题”，三个大模型的回答都正确，并且都能识别出是经典的伦理困境“电车难题”。GPT-4和 Gemini 1.5 Pro强调了伦理困境的复杂性，并没有给出直接的选择，GPT-4o则根据“最大限度减少伤亡”的原则进行分析并给出选择。三大模型回复结果《科创板日报》记者总结文本测试结果发现，Google100万级参数的Gemini 1.5 Pro模型凭借四次全部正确的表现，实力杠杆，GPT-4o答对了两次，而GPT-4模型的表现则不尽人意，仅答对了一次。由于目前200万级参数的Gemini 1.5 Pro模型尚未开放，《科创板日报》记者申请了内测，等待通过后再做进一步测试分享。多模态测试：GPT-4o在细节和分析能力上更胜一筹GPT-4o是OpenAI对其广受欢迎的大型多模态模型GPT-4的第三次重大迭代，它通过视觉功能扩展了GPT-4的能力，新发布的模型能够以一种集成且无缝的方式与用户进行对话、视觉识别和互动。Gemini 1.5 Pro也拥有多模态功能，适合处理摘要、聊天、图片分析和视频字幕、以及从长文本和表格中提取数据等。记者用“公园照片”询问三个大模型在测试中，记者用一张“公园照片”来询问三个大模型。根据图片测试反馈，三个大模型都准确地描述了公园照片的内容，但侧重点略有不同。GPT-4o胜在信息完整性，详细列举了船只类型、湖面状态等各种细节，但略显冗长。Gemini 1.5 Pro语言简洁流畅，用“悠闲地泛舟”、“景色宜人”等词语描绘出画面美感，但细节不如GPT-4o丰富。GPT-4描述简洁，但细节不够丰富。简而言之，如果看重信息的全面性，GPT-4o最强；若更注重语言表达，则Gemini 1.5 Pro表现略佳。由于目前GPT-4尚未具备音频和视频内容的解析能力，所以不做相关测评。OpenAI联合创始人Sam Altman表示，新款语音模型GPT-4o尚未发货，已经发货只是文字版GPT-4o。等到语音版一发货，记者将第一时间带来评测。根据视频测试反馈，GPT-4o在解析视频内容时表现出了强大的多模态处理能力。它能够提取和分析视频帧，并通过图形界面直观地展示给用户。在分析过程中，模型准确地识别出了视频中的四足机器人，并对其外观、所处的环境以及所进行的活动进行了详细的描述。GPT-4o视频测试回复相比之下，Gemini 1.5 Pro的回复则显得简略又单调，在记者第二次追问下，才充实了更多细节。总体来看，如果目标是获取最全面、深入的多模态内容理解，GPT-4o是当前的最佳选择，而Gemini 1.5 Pro则更适合那些重视表述质量与效率的多模态应用场景。不过，GPT-4o和Gemini 1.5 Pro都没有提及对视频里的声音的分析，这是两个多模态大模型解析中的一个共同缺失。前华为“天才少年”预测国内第一个端到端多模态大模型年底将到来AI比赛行至白热化阶段已经告别单纯的技术竞争，转向应用和用户体验的竞争。在搜索引擎和办公领域，Google也将进一步将AI引入其中。记者发现，能够总结Google搜索引擎结果的“AI概览”（AI Overviews）功能已能够使用。百度创始人、董事长兼首席执行官李彦宏昨晚在财报电话会上表示，目前百度搜索上有11%的搜索结果由AI生成。他指出，百度搜索的AI重构工作仍处于早期阶段，整体来看，搜索最有可能成为AI时代的杀手级应用。OpenAI与Google都不约而同地盯上了能自然交互的智能助理，这种智能助理是一个端到端的统一多模态大模型，将推动AI应用的革命性变化。前华为“天才少年”、Logenic Al 联合创始人李博杰认为，国内第一个多模端到端多模态，很有可能今年年底就能差不多能出来了。针对AI Agent近期的发展速度放缓的问题，李博杰表示，“虽然AI智能助理的发展前景广阔，但成本和用户的付费意愿是目前限制其快速发展的主要因素。GPT-4o它比GPT-4快4倍，并将成本降低了一倍，但是对于普通消费者来说可能仍然较贵。”李博杰称，从长期来看，实用性强的智能助理因其解决现实问题的能力而具有更高的价值。而短期内，情感陪伴和娱乐功能的智能助理更容易商业化，因为它们对可靠性的要求较低，开发和部署相对容易。 ... PC版： 手机版：