OpenAI 发布新一代大型多模态模型 GPT-4

OpenAI发布新一代大型多模态模型GPT-4GPT-4是一个大型多模态模型，可以接受文本和图像输入。GPT-4在各种专业学术基准上有着人类水平表现，例如模拟律师考试中，GPT-4的得分约为前10%，而GPT-3.5的得分约为倒数10%。在多语言测试中，GPT-4优于GPT-3.5和Chinchilla(来自DeepMind)还有PaLM(来自谷歌)，包括英语性能还有拉脱维亚语、威尔士语和斯瓦希里语等低资源语言。OpenAI还开放了角色扮演和性格定制能力，开发人员和用户可以自定义他们的AI风格，而不是具有固定冗长、语气和风格的经典ChatGPT个性。ChatGPTPlus订阅用户现可直接GPT-4，未来将对免费用户开放一定数量的GPT-4体验。GPT-4API需要候选名单，每1kprompttokens的价格为$0.03，每1kcompletiontokens的价格为$0.06。目前图像输入处在研究预览阶段，仅对少部分客户开放。微软在GPT-4发布后也正式BingChat基于GPT-4运行，同时BingChat的Edge边栏功能上线。与数据停留在2021年9月的GPT-4离线版本不同，BingChat可联网获取实时信息并且免费。——投稿：@ZaiHuabot频道：@TestFlightCN

Google 推出原生多模态 AI 模型 Gemini，挑战GPT-4

Google推出原生多模态AI模型Gemini，挑战GPT-4https://abmedia.io/google-ai-model-gemini?utm_source=rss&utm_medium=rss&utm_campaign=google-ai-model-gemini&utm_source=rss&utm_medium=rss&utm_campaign=google-ai-model-gemini

微软：多模态大模型GPT-4下周就出

微软：多模态大模型GPT-4下周就出最新消息是，万众期待的GPT-4下周就要推出了：在3月9日举行的一场名为“AIinFocus-DigitalKickoff”的线下活动中，四名微软德国员工展示了GPT系列等大型语言模型（LLM）的颠覆性力量，以及OpenAI技术应用于Azure产品的详细信息。在活动中，微软德国首席技术官AndreasBraun表示GPT-4即将发布，自从3月初多模态模型Kosmos-1发布以来，微软一直在测试和调整来自OpenAI的多模态模型。GPT-4，下周就出“我们将在下周推出GPT-4，它是一个多模态的模型，将提供完全不同的可能性——例如视频（生成能力），”Braun说道，他将语言大模型形容为游戏规则改变者，因为人们在这种方法之上让机器理解自然语言，机器就能以统计方式理解以前只能由人类阅读和理解的内容。与此同时，这项技术已经发展到基本上“适用于所有语言”：你可以用德语提问，然后用意大利语得到答案。借助多模态，微软和OpenAI将使“模型变得全面”。微软德国CTOAndreasBraun。改变业界微软德国公司首席执行官MarianneJanik全面谈到了人工智能对业界的颠覆性影响。Janik强调了人工智能的价值创造潜力，并表示，当前的人工智能发展和ChatGPT是“iPhone发布一样的时刻”。她表示，这不是要代替人类工作，而是帮助人们以不同于以往的方式完成重复性任务。改变并不一定意味着失业。Janik强调说，这意味着“许多专家会开始利用AI实现价值增长”。传统的工作行为正在发生变化，由于新的可能性出现，也会产生全新的职业。她建议公司成立内部“能力中心”，培训员工使用人工智能并将想法整合到项目中。此外，Janik还强调，微软不会使用客户的数据来训练模型（但值得注意是，根据ChatGPT的政策，这不会或至少不会适用于他们的研究合作伙伴OpenAI）。微软德国CEOMarianneJanik。实际用例微软的两位AI技术专家ClemensSieber和HolgerKenn提供了关于AI实际使用的一些信息。他们的团队目前正在处理具体的用例，他们讲解了用例涉及的技术。Kenn解释了什么是多模态人工智能，它不仅可以将文本相应地翻译成图像，还可以翻译成音乐和视频。除了GPT-3.5模型之外，他还谈到了嵌入，用于模型中文本的内部表征。根据Kenn的说法，“负责任”的AI已经内置到微软的产品中，并且可以通过云将数百万个查询映射到API中。ClemensSiebler则用用例说明了今天已经成为可能的事情，例如可以把电话呼叫的语音直接记录成文本。根据Siebler的说法，这可以为微软在荷兰的一家大型客户每天节省500个工作小时。该项目的原型是在两个小时内创建的，一个开发人员在两周内完成了该项目。据他介绍，三个最常见的用例是回答只有员工才能访问的公司信息、AI辅助文档处理和在呼叫中心处理口语的半自动化。微软表示人们很快就会与其全新的AI工具见面。特别是在编程领域，Codex和Copilot等模型可以更轻松地创建代码，令人期待。当被问及操作可靠性和事实保真度时，Siebler表示AI不会总是正确回答，因此有必要进行验证。微软目前正在创建置信度指标来解决此问题。通常，客户仅在自己的数据集上使用AI工具，主要用于阅读理解和查询库存数据，在这些情况下，模型已经相当准确。然而，模型生成的文本仍然是生成性的，因此不容易验证。Siebler表示微软围绕生成型AI建立了一个反馈循环，包括赞成和反对，这是一个迭代的过程。看来在AI大模型的竞争中，领先的一方也加快了脚步。微软在过去一周左右接连发布了展示多模态的语言大模型论文Kosmos-1和VisualChatGPT，这家公司显然非常支持多模态，希望能够做到使感知与LLM保持一致，如此一来就能让单个AI模型看文字图片，也能“说话”。微软的下次AI活动选在了3月16日，CEO萨蒂亚・纳德拉将亲自上台演讲，不知他们是否会在这次活动上发布GPT-4。有趣的是，微软的活动和百度推出文心一言选在了同一天。距离3月16日百度推出类ChatGPT聊天机器人还有一周时间，最近有报道称，百度正在抓紧时间赶在发布最后期限前完成任务。目前看来，百度打算分阶段推出文心一言的各项功能，并首先向部分用户开放公测。知情人士称，在春节假期过后，李彦宏就要求包括自动驾驶部门在内的全公司AI研究团队将英伟达A100支援给文心一言的开发。我们期待下周各家科技公司能带来惊喜。...PC版：https://www.cnbeta.com.tw/articles/soft/1348807.htm手机版：https://m.cnbeta.com.tw/view/1348807.htm

GPT-4V 开启了AI 多模态时代

GPT-4V开启了AI多模态时代越来越多人拿到ChatGPT新的多模态能力，让我们先望梅止渴，看看海外玩家们如何探索出的大批新场景和应用案例；相信你也和我一样能意识到，GPT-4V正在推动世界进入全新的阶段。无论你是学生、父母、老师、医生、程序员、设计师、创作者、工程师，或是传统农业和制造业，都能在以下场景找到启发。教学场景。Peteryang演示了一个教育场景：他使用ChatGPT的图像识别和分析能力，他的孩子讨论了人体结构，从大脑到心脏的精确说明令人振奋。提示词只有一句：“我现在一年级。给我解释一下。”这代表着学生将进入前所未有1:1的个性化指导时代。（图1）停车场景。面对眼花撩乱的停车指示牌，Peter还请GPT-V智能识别并推理分析了一下具体的可行性，「请一句话告诉我：现在周三下午4点，我能在这停车吗？」结果秒出～（图2）饮食健康。MckayWrigley测试了GPT-4V作为健康管理工具的能力，智能分析了图片中所有的蔬菜水果「转换」成了基于热量、蛋白、脂肪的结构化数据（Json格式便于后续编程，图3）故事脚本分析。MckayWrigley还让GPT-V分析了《盗梦空间》的设计图标，发现ChatGPT对图表的结构和流程、各个部分的位置有着深入的理解，并能够连贯、智能地将其拼凑在一起。（图4）图片对照。AndrewMorgan发现GPT-V非常擅长对比图片差异。「找不同」功能看起来微不足道，但是想一想库存管理、取证扫描、甚至制造业等生产场景，他认为视觉智能的应用前景不可估量。（图5）学术研究。教授EthonMollick让GPT-4V识别了一个手稿，识别率惊人的高。他认为对于许多学术领域来说，这可能会是一件大事，特别是因为AI还可以对文本进行「推理」。（图6）室内设计。PietroSchirano请GPT-4V给出了改进建议，结合自定义说明将其进行了个性化建议中，从颜色到触感（图7）。Pietro感到难以置信！摄影技巧。Pietro还尝试GPT-4V对指定的摄影作品给建议，其专业建议的推理能力令人大开眼界。参数设置建议，如图8。

【xAI发布支持视觉的多模态AI模型Grok-1.5V】

【xAI发布支持视觉的多模态AI模型Grok-1.5V】2024年04月13日05点09分老不正经报道，马斯克旗下人工智能公司xAI宣布推出首个多模态AI模型Grok-1.5V。除了强大的文本处理能力，Grok还能够处理各种视觉信息，包括文档、图表、屏幕截图和照片等。在多个领域的基准测试中，Grok-1.5V的表现均可与现有的前沿多模态模型相媲美。尤其在xAI新推出的RealWorldQA基准测试中，Grok在现实世界空间理解能力上超越了同类模型。RealWorldQA数据集包含700多张图像，旨在评估多模态模型对物理世界的基本理解能力。Grok-1.5将很快向早期测试人员和现有用户开放。