GPT-4V 开启了AI 多模态时代

GPT-4V开启了AI多模态时代越来越多人拿到ChatGPT新的多模态能力，让我们先望梅止渴，看看海外玩家们如何探索出的大批新场景和应用案例；相信你也和我一样能意识到，GPT-4V正在推动世界进入全新的阶段。无论你是学生、父母、老师、医生、程序员、设计师、创作者、工程师，或是传统农业和制造业，都能在以下场景找到启发。教学场景。Peteryang演示了一个教育场景：他使用ChatGPT的图像识别和分析能力，他的孩子讨论了人体结构，从大脑到心脏的精确说明令人振奋。提示词只有一句：“我现在一年级。给我解释一下。”这代表着学生将进入前所未有1:1的个性化指导时代。（图1）停车场景。面对眼花撩乱的停车指示牌，Peter还请GPT-V智能识别并推理分析了一下具体的可行性，「请一句话告诉我：现在周三下午4点，我能在这停车吗？」结果秒出～（图2）饮食健康。MckayWrigley测试了GPT-4V作为健康管理工具的能力，智能分析了图片中所有的蔬菜水果「转换」成了基于热量、蛋白、脂肪的结构化数据（Json格式便于后续编程，图3）故事脚本分析。MckayWrigley还让GPT-V分析了《盗梦空间》的设计图标，发现ChatGPT对图表的结构和流程、各个部分的位置有着深入的理解，并能够连贯、智能地将其拼凑在一起。（图4）图片对照。AndrewMorgan发现GPT-V非常擅长对比图片差异。「找不同」功能看起来微不足道，但是想一想库存管理、取证扫描、甚至制造业等生产场景，他认为视觉智能的应用前景不可估量。（图5）学术研究。教授EthonMollick让GPT-4V识别了一个手稿，识别率惊人的高。他认为对于许多学术领域来说，这可能会是一件大事，特别是因为AI还可以对文本进行「推理」。（图6）室内设计。PietroSchirano请GPT-4V给出了改进建议，结合自定义说明将其进行了个性化建议中，从颜色到触感（图7）。Pietro感到难以置信！摄影技巧。Pietro还尝试GPT-4V对指定的摄影作品给建议，其专业建议的推理能力令人大开眼界。参数设置建议，如图8。

在Telegram中查看

相关推荐

如果你对GPT-4V带来的广泛经济变革想要深入研究兴趣，这篇《LMM的黎明：与GPT-4V(ision)的初步探索》论文有着

如果你对GPT-4V带来的广泛经济变革想要深入研究兴趣，这篇《LMM的黎明：与GPT-4V(ision)的初步探索》论文有着深入原理、行业应用层面的讨论（图9）。Enjoy～https://arxiv.org/abs/2309.17421当然，这些令人振奋的演示背后，AI教育专业人士也不断提醒表示「演示是一回事，实际使用是另一回事。」AI模型还会犯错，值得我们保持批判性思考，不断在日常生活和工作流持续探索。欢迎来到AI多模态的新时代～

Siri终结的开始？用GPT-4V“操纵”iPhone 无需训练可完成任意指令

Siri终结的开始？用GPT-4V“操纵”iPhone无需训练可完成任意指令根据测试，GPT-4V在iPhone上完成类似任务的成功率可达75%。因此，有人感叹有了它，Siri渐渐就没有用武之地了（比Siri更懂iPhone）谁知有人直接摆摆手：Siri压根儿一开始就没这么强好嘛。（狗头）还有人看完直呼：智能语音交互时代已经开始。我们的手机可能要变成一个纯粹的显示设备了。真的这么？GPT-4V零样本操作iPhone这项研究来自加州大学圣地亚哥分校、微软等机构。它本身是开发了一个MM-Navigator，也就是一种基于GPT-4V的agent，用于开展智能手机用户界面的导航任务。实验设置在每一个时间步骤，MM-Navigator都会得到一个屏幕截图。作为一个多模态模型，GPT-4V接受图像和文本作为输入并产生文本输出。在这里，就是一步步读屏幕截图信息，输出要操作的步骤。现在的问题就是：如何让模型合理地计算出给定屏幕上应该点击的准确位置坐标（GPT-4V只能给出大概位置）。作者给出的解决办法非常简单，通过OCR工具和IconNet检测每一个给定屏幕上的UI元素，并标记不同的数字。这样一来，GPT-4V就只需面对一张截图指出要点什么数字进行操作就好。两项能力测试测试率先在iPhone上展开。要想成功操纵手机涉及到GPT-4V不同类型的屏幕理解能力：一个是语义推理，包括理解屏幕输入和阐明完成给定指令所需的动作。一个是指出每一个动作应执行的精确位置（即该点哪个数字）的能力。因此，作者开发了两组测试分别进行区分。1、预期动作描述只输出应该干啥，不输出具体坐标。在这个任务中，GPT-4V理解指令并给出操作步骤的准确率为90.9%。比如在下面这个Safari浏览器的截图中，用户想要打开一个新标签页，但左下角的+号是灰色的，应该怎么办？GPT-4V回答：通常这样操作是ok的，但从截图来看，您似乎已经达到了500个标签页的上限，要想再打开新的，需要关闭一些已有选项卡，然后再看看+号是否可以点击。看图理解表现得很不错～更多例子可以翻阅论文。2、本地化动作执行当让GPT-4V把这些“纸上谈兵”都化为具体行动时（即第二个测试任务），它的正确率有所下降，来到74.5%。还是上面的例子，它可以遵循自己给出的指令，给出正确的操作数字，比如点击数字9关闭一个标签页。但如下图所示，让它找一个可以识别建筑物的应用程序时，它可以准确指出用ChatGPT，但是却给出了错误数字“15”（应该是“5”）。还有的错误是因为屏幕截图本身就没有标出对应位置。比如让它从下面的图中开启隐身模式，直接给了wifi处于的“11”位置，完全不搭嘎。此外，除了这种简单的单步任务，测试也发现GPT-4V完全可以不需训练就胜任“买起泡器”这样的复杂指令。在这个过程中，我们可以看到GPT-4V事无巨细地列出每一步该干什么，以及对应的数字坐标。最后，是安卓机上的测试。整体来看，比其他模型比如Llama2、PaLM2和ChatGPT表现得明显要好。在执行安装、购物等任务中的总体表现最高得分为52.96%，这些基线模型最高才39.6%。对于整个实验来说，它最大的意义是证明多模态模型比如GPT-4V能够将能力直接迁移到未见过的场景，展现出进行手机交互的极大潜力。值得一提的是，网友看完这项研究也提出了两个点：一是我们如何定义任务执行的成功与否。比如我们想让它买洗手液补充装，只想要一袋，它却加购了六袋算成功吗？二是大伙也不能兴奋得太早，要想真的商用这项技术，前进空间还很大。因为，准确率可达95%的Siri都还经常被吐槽很差劲呢。团队介绍本研究一共12位作者，基本都来自微软。共同一作两位。分别是加州大学圣地亚哥分校的博士生AnYan，以及微软的高级研究员ZhengyuanYang，后者本科毕业于中科大，博士毕业于罗切斯特大学。...PC版：https://www.cnbeta.com.tw/articles/soft/1397207.htm手机版：https://m.cnbeta.com.tw/view/1397207.htm

MiniCPM-V&OmniLMM 是面向图文理解的开源多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出。

是面向图文理解的开源多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出。目前发布了两个版本的模型，旨在实现领先的性能和高效的部署：MiniCPM-V2.8B：可在终端设备上部署的先进多模态大模型。最新发布的MiniCPM-V2.0可以接受180万像素的任意长宽比图像输入，实现了和GeminiPro相近的场景文字识别能力以及和GPT-4V相匹的低幻觉率。OmniLMM-12B：相比同规模其他模型在多个基准测试中具有领先性能，实现了相比GPT-4V更低的幻觉率。

研究发现GPT-4o等较新的多模态AI模型的安全机制有不足之处

研究发现GPT-4o等较新的多模态AI模型的安全机制有不足之处今年5月，当OpenAI向免费用户提供其新的多模态（即可以接受图像和文本输入）模型GPT-4o时，ChatGPT又向前迈进了一大步。现在，发表在arXiv上的一项新研究发现，包括GPT-4V、GPT-4o和Gemini1.5在内的许多多模态模型在用户提供多模态输入（如图片和文字一起输入）时，输出结果并不安全。这项题为"跨模式安全调整"的研究提出了一个新的"安全输入但不安全输出"（SIUO）基准，其中包括九个安全领域：道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、包括政治在内的争议性话题以及非法活动和犯罪。研究人员说，大型视觉语言模型（LVLM）在接收多模态输入时很难识别SIUO类型的安全问题，在提供安全响应方面也遇到困难。在接受测试的15个LVLM中，只有GPT-4v（53.29%）、GPT-4o（50.9%）和Gemini1.5（52.1%）的得分高于50%。为了解决这个问题，需要开发LVLM，以便将所有模式的见解结合起来，形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识，如文化敏感性、道德考虑因素和安全隐患等。最后，研究人员指出，LVLMs需要能够通过对图像和文本信息的综合推理，理解用户的意图，即使文本中没有明确说明。现在，OpenAI、Google和Anthropic等公司将能够采用这一SIUO基准，并根据该基准测试自己的模型，以确保其模型除了考虑到单个输入模式已有的安全功能外，还考虑到了多模式安全。通过提高模型的安全性，这些公司与政府发生纠纷的可能性就会降低，并有可能提高广大公众的信任度。SIUO基准可在GitHub上找到。...PC版：https://www.cnbeta.com.tw/articles/soft/1435966.htm手机版：https://m.cnbeta.com.tw/view/1435966.htm

ChatGPT 现在可以看到、听到和说话 —— GPT-4 多模态版本上线

ChatGPT现在可以看到、听到和说话——GPT-4多模态版本上线OpenAI开始在ChatGPT中推出新的语音和图像功能，允许您进行语音对话或向ChatGPT展示画面。Plus和企业用户将在未来两周内体验语音和图像，不久后推出给其他用户组，包括开发人员。图像理解由多模态GPT-3.5和GPT-4提供支持，你现在可以向ChatGPT展示一个或多个图像。这些模型可以将其语言推理技能应用于各种图像，例如照片、屏幕截图以及包含文本和图像的文档。文本转语音由新的模型提供支持，它能够从几秒钟的真实语音中制作出逼真的合成语音。ChatGPT的预设语音来自直接合作的专业配音演员。语音转文本由OpenAIWhisper模型支持。投稿：@ZaiHuaBot频道：@TestFlightCN

Google 推出原生多模态 AI 模型 Gemini，挑战GPT-4

Google推出原生多模态AI模型Gemini，挑战GPT-4https://abmedia.io/google-ai-model-gemini?utm_source=rss&utm_medium=rss&utm_campaign=google-ai-model-gemini&utm_source=rss&utm_medium=rss&utm_campaign=google-ai-model-gemini

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人