研究发现GPT-4o等较新的多模态AI模型的安全机制有不足之处

研究发现GPT-4o等较新的多模态AI模型的安全机制有不足之处今年5月，当OpenAI向免费用户提供其新的多模态（即可以接受图像和文本输入）模型GPT-4o时，ChatGPT又向前迈进了一大步。现在，发表在arXiv上的一项新研究发现，包括GPT-4V、GPT-4o和Gemini1.5在内的许多多模态模型在用户提供多模态输入（如图片和文字一起输入）时，输出结果并不安全。这项题为"跨模式安全调整"的研究提出了一个新的"安全输入但不安全输出"（SIUO）基准，其中包括九个安全领域：道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、包括政治在内的争议性话题以及非法活动和犯罪。研究人员说，大型视觉语言模型（LVLM）在接收多模态输入时很难识别SIUO类型的安全问题，在提供安全响应方面也遇到困难。在接受测试的15个LVLM中，只有GPT-4v（53.29%）、GPT-4o（50.9%）和Gemini1.5（52.1%）的得分高于50%。为了解决这个问题，需要开发LVLM，以便将所有模式的见解结合起来，形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识，如文化敏感性、道德考虑因素和安全隐患等。最后，研究人员指出，LVLMs需要能够通过对图像和文本信息的综合推理，理解用户的意图，即使文本中没有明确说明。现在，OpenAI、Google和Anthropic等公司将能够采用这一SIUO基准，并根据该基准测试自己的模型，以确保其模型除了考虑到单个输入模式已有的安全功能外，还考虑到了多模式安全。通过提高模型的安全性，这些公司与政府发生纠纷的可能性就会降低，并有可能提高广大公众的信任度。SIUO基准可在GitHub上找到。...PC版：https://www.cnbeta.com.tw/articles/soft/1435966.htm手机版：https://m.cnbeta.com.tw/view/1435966.htm

GPT-4o在语音对话方面的特点

GPT-4o在语音对话方面的特点1.快速反应：与其前身相比，GPT-4o在语音转换和处理方面有显著的速度提升。它允许用户与AI进行更快速的语音交流，这提高了语音聊天的流畅度和自然度。2.情感识别：GPT-4o可以识别和反映语音语调和情绪，这使得它能够在语音交流中表现出各种情绪，从而更接近人类交流的感觉。3.多语言支持：它支持多种语言的语音输入和输出，这意味着它可以在语音对话中处理跨语言的交流。4.语音输入和输出：它可以通过语音输入和输出进行交互，这使得语音对话更加自然和便利。5.语音转文字和文字转语音的准确性：尽管有技术进步，但语音转文字和文字转语音的准确性仍然是一个挑战。这可能会影响语音聊天的质量。6.易用性：GPT-4o的语音交互功能使得语音聊天更加直观和易用，这让用户可以更简单地使用语音输入和输出。

银河证券：OpenAI 发布 GPT-4o 模型，易用性大幅提升

银河证券：OpenAI发布GPT-4o模型，易用性大幅提升银河证券研报表示，北京时间2024年5月14日凌晨，OpenAI发布GPT-4的升级更新版本GPT-4o。随着2023年以来各种人工智能大模型的不断迭代更新，目前主流人工智能大模型的智能水平已经达到了相当的水平。GPT-4o的发布，标志着人工智能大模型在便利性和易用性上实现了突破，考虑到后续随着GPT-4o免费对用户开放，用户数量的快速增长确定性较高，银河证券认为，人工智能的对C端的影响力有望增强，看好相关垂类应用的发展前景。建议关注与C端用户体验密切相关的行业：1）AI+游戏：游戏内NPC互动、互动影游；2）AI+教育：智教系统、虚拟实验室；3）AI+办公：内容生成、非结构化数据处理；4）AI+出版：校对修改、智慧发行；5）AI+专业咨询：情感陪护，应用场景专业解答等。

今天发布的GPT-4o以及ChatGPT产品的快速总结：

今天发布的GPT-4o以及ChatGPT产品的快速总结：GPT-4o（“o”代表“全能”）它可以接受任意组合的文本、音频和图像作为输入，并生成任意组合的文本、音频和图像输出。它可以在232毫秒内响应音频输入，平均为320毫秒，这与人类在对话中的响应时间相似。在英文和代码文本方面，它与GPT-4Turbo的性能相当，对非英语文本的文本有显著改进。同时在API方面更快速、价格更便宜50%。与现有模型相比，GPT-4o在视觉和音频理解方面表现特别出色。与GPT-4Turbo相比，GPT-4o速度提高了2倍，价格减半，限制速率提高了5倍。何时可用？GPT-4o的文本和图像功能今天开始在ChatGPT中推出。将在免费版中提供GPT-4o，并为Plus用户提供高达5倍的消息限制。将在未来几周内在ChatGPTPlus中推出带有GPT-4o的VoiceMode的新版本。开发者现在也可以通过API访问GPT-4o作为文本和视觉模型。

今天发布的GPT-4o以及ChatGPT产品的快速总结：#ai# #open#

今天发布的GPT-4o以及ChatGPT产品的快速总结：#ai##openai#GPT-4o（“o”代表“全能”）它可以接受任意组合的文本、音频和图像作为输入，并生成任意组合的文本、音频和图像输出。它可以在232毫秒内响应音频输入，平均为320毫秒，这与人类在对话中的响应时间相似。在英文和代码文本方面，它与GPT-4Turbo的性能相当，对非英语文本的文本有显著改进。同时在API方面更快速、价格更便宜50%。与现有模型相比，GPT-4o在视觉和音频理解方面表现特别出色。与GPT-4Turbo相比，GPT-4o速度提高了2倍，价格减半，限制速率提高了5倍。何时可用？GPT-4o的文本和图像功能今天开始在ChatGPT中推出。将在免费版中提供GPT-4o，并为Plus用户提供高达5倍的消息限制。将在未来几周内在ChatGPTPlus中推出带有GPT-4o的VoiceMode的新版本。开发者现在也可以通过API访问GPT-4o作为文本和视觉模型。公告地址：https://openai.com/index/hello-gpt-4o/

GPT-4、Llama 2比人类更懂“人类心理”？最新研究登上Nature子刊

GPT-4、Llama2比人类更懂“人类心理”？最新研究登上Nature子刊这些发现不仅表明大型语言模型（LLMs）展示出了与人类心理推理输出一致的行为，而且还突出了系统测试的重要性，从而确保在人类智能和人工智能之间进行非表面的比较。相关研究论文以“Testingtheoryofmindinlargelanguagemodelsandhumans”为题，已发表在Nature子刊NatureHumanBehaviour上。GPT更懂“误导”，Llama2更懂“礼貌”心智理论，是一个心理学术语，是一种能够理解自己以及周围人类的心理状态的能力，这些心理状态包括情绪、信仰、意图、欲望、假装等，自闭症通常被认为是患者缺乏这一能力所导致的。以往，心智理论这一能力被认为是人类特有的。但除了人类之外，包括多种灵长类动物，如黑猩猩，以及大象、海豚、马、猫、狗等，都被认为可能具备简单的心智理论能力，目前仍有争议。最近，诸如ChatGPT这样的大型语言模型（LLMs）的快速发展引发了一场激烈的争论，即这些模型在心智理论任务中表现出的行为是否与人类行为一致。在这项工作中，来自德国汉堡-埃彭多夫大学医学中心的研究团队及其合作者，反复测试了两个系列的LLMs（GPT和Llama2）的不同心智理论能力，并将它们的表现与1907名人类参与者进行比较。他们发现，GPT模型在识别间接要求、错误想法和误导三方面的表现，可以达到甚至超越人类的平均水平，而Llama2的表现还不如人类。图人类（紫色）、GPT-4（深蓝色）、GPT-3.5（浅蓝色）和LLaMA2-70B（绿色）在心智理论测试中的表现。在识别失礼方面，Llama2要强于人类，但GPT表现不佳。研究团队认为，Llama2表现好是因为回答的偏见程度较低，而不是因为真的对失礼敏感，GPT表现较差其实是因为对坚持结论的超保守态度，而不是因为推理错误。AI的心智理论已达人类水平？在论文的讨论部分，研究团队对GPT模型在识别不当言论任务中的表现进行了深入分析，实验结果支持了GPT模型在识别不当言论方面存在过度保守的假设，而不是推理能力差。当问题以可能性的形式提出时，GPT模型能够正确识别并选择最可能的解释。同时，他们也通过后续实验揭示了LLaMA2-70B的优越性可能是由于其对无知的偏见，而不是真正的推理能力。此外，他们还指出了未来研究的方向，包括进一步探索GPT模型在实时人机交互中的表现，以及这些模型的决策行为如何影响人类的社会认知。他们提醒道，尽管LLM在心智理论任务上的表现堪比人类，但并不意味着它们具有人类般的能力，也代表它们能掌握心智理论。尽管如此，他们也表示，这些结果是未来研究的重要基础，并建议进一步研究LLM在心理推断上的表现会如何影响个体在人机交互中的认知。...PC版：https://www.cnbeta.com.tw/articles/soft/1431713.htm手机版：https://m.cnbeta.com.tw/view/1431713.htm