GPT-4V 开启了AI 多模态时代

GPT-4V 开启了AI 多模态时代 越来越多人拿到 ChatGPT 新的多模态能力，让我们先望梅止渴， 看看海外玩家们如何探索出的大批新场景和应用案例；相信你也和我一样能意识到， GPT-4V 正在推动世界进入全新的阶段。 无论你是学生、父母、老师、医生、程序员、设计师、创作者、工程师，或是传统农业和制造业，都能在以下场景找到启发。 教学场景。 Peteryang 演示了一个教育场景：他使用ChatGPT 的图像识别和分析能力，他的孩子讨论了人体结构，从大脑到心脏的精确说明令人振奋。 提示词只有一句：“我现在一年级。给我解释一下。” 这代表着学生将进入前所未有 1:1 的个性化指导时代。（图 1） 停车场景。面对眼花撩乱的停车指示牌，Peter 还请 GPT-V智能识别并推理分析了一下具体的可行性，「请一句话告诉我：现在周三下午4点， 我能在这停车吗？」结果秒出～ （图 2） 饮食健康。 Mckay Wrigley 测试了 GPT-4V 作为健康管理工具的能力，智能分析了图片中所有的蔬菜水果「转换」成了基于热量、蛋白、 脂肪的结构化数据（Json 格式便于后续编程，图 3） 故事脚本分析。Mckay Wrigley 还让 GPT-V 分析了《盗梦空间》的设计图标，发现ChatGPT 对图表的结构和流程、各个部分的位置有着深入的理解，并能够连贯、智能地将其拼凑在一起。（图 4） 图片对照。 Andrew Morgan 发现 GPT-V 非常擅长对比图片差异。「找不同」功能看起来微不足道，但是想一想库存管理、取证扫描、甚至制造业等生产场景，他认为视觉智能的应用前景不可估量。（图 5） 学术研究。 教授 Ethon Mollick 让 GPT-4V 识别了一个手稿，识别率惊人的高。他认为对于许多学术领域来说，这可能会是一件大事，特别是因为 AI 还可以对文本进行「推理」。（图 6） 室内设计。Pietro Schirano 请 GPT-4V 给出了改进建议，结合自定义说明将其进行了个性化建议中，从颜色到触感（图 7）。Pietro 感到难以置信！ 摄影技巧。Pietro 还尝试GPT-4V 对指定的摄影作品给建议，其专业建议的推理能力令人大开眼界。 参数设置建议，如图8。

【AI变鉴片大师，多模态大模型挑战超长3小时视频】包括GPT-4V等在内的同类模型基本只能处理图像。贾佳亚团队的LLaMA-VI

【AI变鉴片大师，多模态大模型挑战超长3小时视频】包括GPT-4V等在内的同类模型基本只能处理图像。贾佳亚团队的LLaMA-VID支持单图、短视频和长视频三种输入，只通过一个非常简单的办法就达成了如上能力，那就是：单帧画面压缩到只用2个token编码。 #抽屉IT

更像人类的GPT-4o：OpenAI的《Her》时刻

更像人类的GPT-4o：OpenAI的《Her》时刻 GPT-4o在保持GPT-4级别的智能的同时，对文本、视觉和音频功能进行了改进。OpenAI首席技术官（CTO）Mira Murati及其员工Mark Chen和Barret Zoph在现场演示时展示了新的音频对话和视觉理解能力。OpenAI声称，GPT-4o对音频输入的平均反应时间约为320毫秒。根据2009年的一项研究，这与人类在对话中的反应时间相似，而之前的模型通常要延迟2-3秒时间。除了响应速度，GPT-4o似乎很容易捕捉到情绪，并根据用户的要求调整语气和风格，甚至还在回应中加入了音效、笑声和歌声。GPT-4o更像人类GPT-4o在理解人类交流方面迈出了重要的一步，用户可以用一种接近自然的方式与其交谈。它伴随着现实世界中几乎所有的倾向，比如打断、理解语气，甚至意识到自己犯了一个错误。在第一次现场演示中，主持人要求GPT-4o对他的呼吸技巧做出反馈。他对着手机深深地吸了一口气，而ChatGPT则诙谐地回应道：“你不是吸尘器。”它建议使用一种速度较慢的技术，展示其理解和回应人类细微差别的能力。除了具有幽默感，ChatGPT也会改变回应的语气，在传达“思想”的同时用不同的语调来完成。就像人类对话一样，你可以打断它的对话并纠正它，让它做出反应或停止说话。你甚至可以要求它以某种语气、风格或机器人的声音来说话。此外，它甚至还可以提供翻译服务。在现场演示中，舞台上的两名演讲者，一名说英语，一名说意大利语，通过Chat GPT-4o的翻译进行对话。它可以快速将意大利语翻译成英语，然后无缝地将英语回复翻译回意大利语。据悉，Chat GPT-4o在50多种语言的速度和质量上都有所提高。OpenAI表示，这些语言覆盖了世界97%的人口。除了语音理解，Chat GPT-4o还可以理解视觉效果。例如，对于视频中的一道方程题，它可以指导你如何求解。另外，它还可以观看现场自拍，并提供描述，包括你的穿着，以及情绪。在演示中，Chat GPT-4o表示，主持人看起来很开心。在整个演示过程中，Chat GPT-4o工作得很快，在理解方面并不费力，也没有提出询问。与输入查询相比，与Chat GPT-4o的交流更自然。你可以自然地对着手机说话，并得到想要的回应，而不是用谷歌去搜索。电影《Her》中的萨曼莎此时，如果想到了《Her》（一部和AI虚拟人萨曼莎谈恋爱的电影），或者其他与AI相关的未来主义反乌托邦电影，你不是唯一的一个。以如此自然的方式与Chat GPT-4o交谈，本质上就是OpenAI的《Her》时刻。考虑到它将在移动应用程序和桌面应用程序上免费推出，许多人可能很快就会拥有自己的《Her》时刻。虽然并未在直播演示中现身，但OpenAI CEO 萨姆·奥特曼（Sam Altman）对这次演示做了重要的总结，称GPT-4o给人的感觉就像电影中的AI。他说：“新的语音和视频模型GPT-4o是我用过的最好的计算机界面，这感觉就像电影中的AI。而且，对我来说，它真实的仍然有点令人惊讶，达到了人类级别的响应速度和表现。最初的ChatGPT显示出了语言界面的可能性，但GPT-4o这个新事物感觉本质上有所不同，它快速、智能、有趣、自然、实用。”“对我来说，与电脑交谈从来都不是很自然的感觉；但现不同了，它变得自然了。随着将来不断地完善，我真的看到了一个令人兴奋的未来，我们能使用计算机做比以往任何时候都多的事情。”奥特曼还称，在创建OpenAI时，最初的想法是创造AI，并用它来为世界创造各种裨益。但如今，创造AI后，希望让其他人使用它来创造各种令人惊叹的东西，所有人都会从中受益。奥特曼还表示：“OpenAI是一家企业，会找到很多收费的东西，这将帮助我们为数十亿人提供免费的、出色的AI服务。”新的安全风险这场令人印象深刻的语音和视觉演示，可能只是触及了Chat GPT-4o各种可能性的皮毛。尽管其总体性能，以及在各种环境中的日常表现仍有待观察，但很明显，通过现场演示可以看出，Chat GPT-4o已经对谷歌和苹果的未来挑战做好了准备。OpenAI称：“Chat GPT-4o是我们第一个结合了上述所有技术的模型，我们目前只是触及到探索该模型的功能，及其局限性的皮毛。”Murati承认，Chat GPT-4o的实时音频和图像能力在安全方面带来了新的挑战。她表示，OpenAI将继续研究安全性，并在未来几周的迭代部署期间征求测试用户的反馈。OpenAI称：“Chat GPT-4o还与社会心理学、偏见和公平性等领域的70多名外部专家进行了广泛的合作，以识别新模型可能导致或放大的风险。我们利用这些经验来加强安全干预措施，以提高与Chat GPT-4o交互的安全性。一旦新的风险被发现，我们将采取措施降低它们。”GPT-4o前景展望在Google I/O大会开始的前一天，OpenAI发布了Chat GPT-4o，让我们见识到了人们想要的真正实用的AI体验。如果传闻中的与苹果的合作成为现实，那么Siri将如虎添翼。对于谷歌而言，几乎可以肯定的是，将在5月14日的I/O大会上展示其最新的AI技术。它能足以抵抗Chat GPT-4o吗？在不到30分钟的演讲中，OpenAI无法对Chat GPT-4o进行更多的现场演示。幸运的是，它将在未来一周向用户推出，且不需要支付费用。 ... PC版： 手机版：

下一代Windows系统曝光：基于GPT-4V Agent跨应用调度 代号UFO

下一代Windows系统曝光：基于GPT-4V Agent跨应用调度 代号UFO 还有像利用多个来源文本，比如word文档、图像文本内容，撰写电子邮件。网友表示：这才是Windows级别应有的创新能力第一个Windows Agent来了这样一个智能体叫做UFO，全名“UI-Focused”，是一个专为Windows OS（操作系统）交互设计、面向用户界面（UI）的智能体框架，可以在单个或者多个应用程序中操作，由MSRA、微软AI与应用研究团队等共同打造。用户就可以通过自然语言指令，来操作App的用户界面。据介绍，UFO是第一个专为Windows OS环境中的任务完成量身定制的UI Agent。就拿删除PPT上的所有注释为例。传统方式需要一页一页手动删除注释。如果PPT巨长无比，这个过程就会又久又无聊，让人瞬间暴躁。但UFO得到指令后，简化了整个过程。它先是提议用“删除所有演示笔记”功能，这个功能因为按钮位置藏得很深，经常被用户忽视。而后，UFO导航到“File”选项，对后台视图进行访问；然后，再平滑地切换到“info”菜单，单击“检查问题”按钮，并选择“检查文档”，开始检查文档中所有包含的注释。紧接着，UFO识别到菜单地步的“删除所有演示笔记”，向下滚动定位到其位置，启动单击功能。考虑到误删的可能性，UFO这里有一道保护功能，需要用户再次确定是否真的要删除所有注释。用户一旦确认，所有笔记就“”的一下都没有了～如PowerPoint这般，文章中对其它几个场景进行了图文并茂的展示。比如读一篇PDF：设计PPT格式：下载Docker拓展：发条推文：搜索总结：读篇paper：以及怎么利用UFO在Word文档里提取文本、描述图像、撰写然后发送电子邮件等。研究团队在9个常用的Windows应用程序上对UFO进行了测试，包括Outlook、Photos、PPT、Word等，涵盖了Windows用户的高频使用场景，能够测试工作、交流、编码、阅读、网页浏览等目的。对于每个应用程序，团队设计了5个不同的请求，共45个；另外还设计了5个设计跨多个交互应用程序的请求。也就是说，共产生了50个请求，每个应用程序至少有一个请求链接到另一个后续请求，提供全面评估UFO的互动模式。在评估指标方面，则从成功度、步骤、完成率和保障率这几个角度来评估UFO。为了全面评估UFO的性能，团队开发了名为WindowsBench的测试基准。考虑到没有现成的Windows Agent，团队选择GPT-3.5和GPT-4作为基座模型，并且指示它们提供一步一步的指导来完成用户请求。值得注意的是，UFO在WindowsBench上成功率达到了86%，成倍超过了GPT-4因此UFO可以被定位为一个高效的Agent。而UFO的完成率也是最好的，这表明它有能力采取更精确的动作；此外，UFO完成任务的步骤也是最少的，安全度也是最高的。最后，9个场景从4个角度在WindowsBench的详细得分如下：三个模块组成既然如此，这样一个操作系统级别的Agent，究竟是如何实现的呢？首先，它理解用户的自然语言要求，然后将其分解为一系列子任务。然后观察用户界面，并对其控制元素进行操作，以实现总体目标。既然如此，又是如何实现的呢？架构上看，UFO是个双Agent框架，主要有三个模块：应用智能体（AppAgent），选择一个应用程序满足用户请求。行动智能体（ActAgent），负责在所选应用中反复执行任务。交互控制，无需人工干预，全自动执行。在收到用户请求后，AppAgent会对需求进行分析。除此之外，还有这些信息作为输入：桌面截图、App信息、记忆以及示例。其中，UFO为AppAgent提供了完整的桌面截图和可用应用程序列表以供参考。然后从当前激活的应用程序中选择一个合适的应用程序，并制定一个全局实现计划，将其传递给ActAgent。一旦找到合适的应用程序，App就会出现在桌面上。随后ActAgent启动操作。在每个操作选择之前，UFO都会捕获当前应用程序用户界面窗口的屏幕截图，并标注所有可用控件。此外，UFO还记录了每个控件的相关信息，供 ActAgent观察。ActAgent的任务是选择要操作的控件，然后通过控件交互模块选择要在所选控件上执行的特定操作。这一决定是基于 ActAgent 的观察结果、先前计划和操作记忆做出的。这个递归过程一直持续到用户请求在所选应用程序中成功完成为止。至此，用户请求的一个阶段结束。如果需要跨越多个应用程序，那么在ActAgent 完成当前任务之后，ActAgent 将把任务委托给 AppAgent，以便切换到不同的应用程序，从而启动请求的第二阶段。用户可以选择提出新的请求，促使 UFO 通过重复上述过程来处理新任务。研究团队依据日常鼠标操作，还开发了自定义操作，比如单击、选择文本、滚动等，以此来完成对于控件的操作。主要有这些控制类型。微软全球资深副总裁、MSRA副院长领衔最后介绍一下UFO的研究团队，其中大多数都为华人。通讯作者Chaoyun Zhang，是微软DKI（Data、Knowledge、Intelligence，数据/知识/情报）*小组的高级研究员。他于2020年，在爱丁堡大学获得硕士和博士学位，研究兴趣包括时间序列建模、时空数据挖掘、因果推理以及云服务和 AIOps的可解释机器学习。Chaoyun Zhang还是华中科技大学校友，出国前在华中科技大学电子信息与通信学院取得学士学位。作者Liqun Li，现为微软DKI组首席研究员。他先毕业于清华大学计算机科学与技术系，取得学士学位；而后又在2012年获得中国科学院软件研究所博士学位。期间，Liqun Li曾作为访问学者前往密歇根州立大学。作者Saravan Rajmohan，Miceosoft 365的AI及应用研究的合作伙伴总监。他领导应用研究团队与Microsoft的各个研究小组进行深入协作，将算法研究与AI/ML技术和硬件创新相结合作者张冬梅，MSRA（微软亚洲研究院）常务副院长，微软杰出首席科学家。她从2004年起加入MSRA，从事和领导DKI领域的研究工作，近几年，团队将研究扩大到商业智能领域。作者张祺，微软全球资深副总裁。此前，张祺曾任微软（亚洲）互联网工程院常务副院长，兼任微软移动联新互联网服务有限公司董事长，负责微软互联网业务及人工智能平台在亚洲的团队。同时，他也是微软中国首位“全球杰出工程师”。最后，简单介绍一下多位作者的工作单位：MSRA的DKI组。DKI是Data、Knowledge、Intelligence的简写。该小组致力于AI、数据分析、数据交互、数据可视化的研究，探索全新的数据分析、展示、交互技术，让数据和数据中的发现故事被高效地理解、广泛地传播。团队与微软产品如Excel，PowerPoint等深度合作，常年在各个领域的顶会和期刊上发表论文。 ... PC版： 手机版：

#立场案 辩方列10篇评论文章 作者包括梁振英、屈颖妍及人民日报 皆触犯控方所设「戒条」

#立场案 辩方列10篇评论文章 作者包括梁振英、屈颖妍及人民日报 皆触犯控方所设「戒条」 辩方资深大律师余若薇继续进行覆问。控方伍淑娟早前盘问时质疑《立场》博客文章欠交代事实基础、「意见当事实咁写」、没有提出具体解决办法以及引起憎恨等。余大状呈上不同媒体的评论文章，指法治之下人人平等、不能有双重标准，要求钟沛权逐一检视该些文章是否符合伍的「戒条」而没有被控煽动。文章作者包括《人民日报》、梁振英、吴秋北和屈颖妍，分别批评司法机构和政府的防疫表现。 钟确认上述文章皆触犯伍淑娟就评论文章所设下的「戒条」，但依然认为在言论自由环境下，应容许它们发表，更建议伍淑娟「可能佢要睇吓唔同类型嘅评论文章，系咩一回事」。

为防止学生使用 ChatGPT 作弊，部分大学教授考虑回归纸笔考试和手写作文

为防止学生使用 ChatGPT 作弊，部分大学教授考虑回归纸笔考试和手写作文 ChatGPT 程序已经在多个领域展现出惊人的能力，比如在 AP 生物考试中获得最高分，并以 3.34 的 GPA 成绩在哈佛大学完成新生一年的课程。自推出以来，教师、管理人员和学生都对人工智能在教育中的作用提出了质疑。一些学校选择直接禁止使用 ChatGPT，而另一些学校则探索如何使其成为一种学习工具。 一些教授表示，他们计划回归手写作业和口头考试，以避免学生使用生成式 AI。“我打算对学生采取中世纪的方式，回到口头考试”，阿巴拉契亚州立大学哲学教授 Christopher Bartel 在今年一月说道。“他们可以用 AI 生成文本来做笔记，但如果他们能够说出来，那就是另一回事了。” 一位加拿大写作教授称，他计划让作业更加个性化，以减少使用 ChatGPT 写作文的情况。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot