GPT-4V 开启了AI 多模态时代

GPT-4V 开启了AI 多模态时代 越来越多人拿到 ChatGPT 新的多模态能力，让我们先望梅止渴， 看看海外玩家们如何探索出的大批新场景和应用案例；相信你也和我一样能意识到， GPT-4V 正在推动世界进入全新的阶段。 无论你是学生、父母、老师、医生、程序员、设计师、创作者、工程师，或是传统农业和制造业，都能在以下场景找到启发。 教学场景。 Peteryang 演示了一个教育场景：他使用ChatGPT 的图像识别和分析能力，他的孩子讨论了人体结构，从大脑到心脏的精确说明令人振奋。 提示词只有一句：“我现在一年级。给我解释一下。” 这代表着学生将进入前所未有 1:1 的个性化指导时代。（图 1） 停车场景。面对眼花撩乱的停车指示牌，Peter 还请 GPT-V智能识别并推理分析了一下具体的可行性，「请一句话告诉我：现在周三下午4点， 我能在这停车吗？」结果秒出～ （图 2） 饮食健康。 Mckay Wrigley 测试了 GPT-4V 作为健康管理工具的能力，智能分析了图片中所有的蔬菜水果「转换」成了基于热量、蛋白、 脂肪的结构化数据（Json 格式便于后续编程，图 3） 故事脚本分析。Mckay Wrigley 还让 GPT-V 分析了《盗梦空间》的设计图标，发现ChatGPT 对图表的结构和流程、各个部分的位置有着深入的理解，并能够连贯、智能地将其拼凑在一起。（图 4） 图片对照。 Andrew Morgan 发现 GPT-V 非常擅长对比图片差异。「找不同」功能看起来微不足道，但是想一想库存管理、取证扫描、甚至制造业等生产场景，他认为视觉智能的应用前景不可估量。（图 5） 学术研究。 教授 Ethon Mollick 让 GPT-4V 识别了一个手稿，识别率惊人的高。他认为对于许多学术领域来说，这可能会是一件大事，特别是因为 AI 还可以对文本进行「推理」。（图 6） 室内设计。Pietro Schirano 请 GPT-4V 给出了改进建议，结合自定义说明将其进行了个性化建议中，从颜色到触感（图 7）。Pietro 感到难以置信！ 摄影技巧。Pietro 还尝试GPT-4V 对指定的摄影作品给建议，其专业建议的推理能力令人大开眼界。 参数设置建议，如图8。

更像人类的GPT-4o：OpenAI的《Her》时刻

更像人类的GPT-4o：OpenAI的《Her》时刻 GPT-4o在保持GPT-4级别的智能的同时，对文本、视觉和音频功能进行了改进。OpenAI首席技术官（CTO）Mira Murati及其员工Mark Chen和Barret Zoph在现场演示时展示了新的音频对话和视觉理解能力。OpenAI声称，GPT-4o对音频输入的平均反应时间约为320毫秒。根据2009年的一项研究，这与人类在对话中的反应时间相似，而之前的模型通常要延迟2-3秒时间。除了响应速度，GPT-4o似乎很容易捕捉到情绪，并根据用户的要求调整语气和风格，甚至还在回应中加入了音效、笑声和歌声。GPT-4o更像人类GPT-4o在理解人类交流方面迈出了重要的一步，用户可以用一种接近自然的方式与其交谈。它伴随着现实世界中几乎所有的倾向，比如打断、理解语气，甚至意识到自己犯了一个错误。在第一次现场演示中，主持人要求GPT-4o对他的呼吸技巧做出反馈。他对着手机深深地吸了一口气，而ChatGPT则诙谐地回应道：“你不是吸尘器。”它建议使用一种速度较慢的技术，展示其理解和回应人类细微差别的能力。除了具有幽默感，ChatGPT也会改变回应的语气，在传达“思想”的同时用不同的语调来完成。就像人类对话一样，你可以打断它的对话并纠正它，让它做出反应或停止说话。你甚至可以要求它以某种语气、风格或机器人的声音来说话。此外，它甚至还可以提供翻译服务。在现场演示中，舞台上的两名演讲者，一名说英语，一名说意大利语，通过Chat GPT-4o的翻译进行对话。它可以快速将意大利语翻译成英语，然后无缝地将英语回复翻译回意大利语。据悉，Chat GPT-4o在50多种语言的速度和质量上都有所提高。OpenAI表示，这些语言覆盖了世界97%的人口。除了语音理解，Chat GPT-4o还可以理解视觉效果。例如，对于视频中的一道方程题，它可以指导你如何求解。另外，它还可以观看现场自拍，并提供描述，包括你的穿着，以及情绪。在演示中，Chat GPT-4o表示，主持人看起来很开心。在整个演示过程中，Chat GPT-4o工作得很快，在理解方面并不费力，也没有提出询问。与输入查询相比，与Chat GPT-4o的交流更自然。你可以自然地对着手机说话，并得到想要的回应，而不是用谷歌去搜索。电影《Her》中的萨曼莎此时，如果想到了《Her》（一部和AI虚拟人萨曼莎谈恋爱的电影），或者其他与AI相关的未来主义反乌托邦电影，你不是唯一的一个。以如此自然的方式与Chat GPT-4o交谈，本质上就是OpenAI的《Her》时刻。考虑到它将在移动应用程序和桌面应用程序上免费推出，许多人可能很快就会拥有自己的《Her》时刻。虽然并未在直播演示中现身，但OpenAI CEO 萨姆·奥特曼（Sam Altman）对这次演示做了重要的总结，称GPT-4o给人的感觉就像电影中的AI。他说：“新的语音和视频模型GPT-4o是我用过的最好的计算机界面，这感觉就像电影中的AI。而且，对我来说，它真实的仍然有点令人惊讶，达到了人类级别的响应速度和表现。最初的ChatGPT显示出了语言界面的可能性，但GPT-4o这个新事物感觉本质上有所不同，它快速、智能、有趣、自然、实用。”“对我来说，与电脑交谈从来都不是很自然的感觉；但现不同了，它变得自然了。随着将来不断地完善，我真的看到了一个令人兴奋的未来，我们能使用计算机做比以往任何时候都多的事情。”奥特曼还称，在创建OpenAI时，最初的想法是创造AI，并用它来为世界创造各种裨益。但如今，创造AI后，希望让其他人使用它来创造各种令人惊叹的东西，所有人都会从中受益。奥特曼还表示：“OpenAI是一家企业，会找到很多收费的东西，这将帮助我们为数十亿人提供免费的、出色的AI服务。”新的安全风险这场令人印象深刻的语音和视觉演示，可能只是触及了Chat GPT-4o各种可能性的皮毛。尽管其总体性能，以及在各种环境中的日常表现仍有待观察，但很明显，通过现场演示可以看出，Chat GPT-4o已经对谷歌和苹果的未来挑战做好了准备。OpenAI称：“Chat GPT-4o是我们第一个结合了上述所有技术的模型，我们目前只是触及到探索该模型的功能，及其局限性的皮毛。”Murati承认，Chat GPT-4o的实时音频和图像能力在安全方面带来了新的挑战。她表示，OpenAI将继续研究安全性，并在未来几周的迭代部署期间征求测试用户的反馈。OpenAI称：“Chat GPT-4o还与社会心理学、偏见和公平性等领域的70多名外部专家进行了广泛的合作，以识别新模型可能导致或放大的风险。我们利用这些经验来加强安全干预措施，以提高与Chat GPT-4o交互的安全性。一旦新的风险被发现，我们将采取措施降低它们。”GPT-4o前景展望在Google I/O大会开始的前一天，OpenAI发布了Chat GPT-4o，让我们见识到了人们想要的真正实用的AI体验。如果传闻中的与苹果的合作成为现实，那么Siri将如虎添翼。对于谷歌而言，几乎可以肯定的是，将在5月14日的I/O大会上展示其最新的AI技术。它能足以抵抗Chat GPT-4o吗？在不到30分钟的演讲中，OpenAI无法对Chat GPT-4o进行更多的现场演示。幸运的是，它将在未来一周向用户推出，且不需要支付费用。 ... PC版： 手机版：

为防止学生使用 ChatGPT 作弊，部分大学教授考虑回归纸笔考试和手写作文

为防止学生使用 ChatGPT 作弊，部分大学教授考虑回归纸笔考试和手写作文 ChatGPT 程序已经在多个领域展现出惊人的能力，比如在 AP 生物考试中获得最高分，并以 3.34 的 GPA 成绩在哈佛大学完成新生一年的课程。自推出以来，教师、管理人员和学生都对人工智能在教育中的作用提出了质疑。一些学校选择直接禁止使用 ChatGPT，而另一些学校则探索如何使其成为一种学习工具。 一些教授表示，他们计划回归手写作业和口头考试，以避免学生使用生成式 AI。“我打算对学生采取中世纪的方式，回到口头考试”，阿巴拉契亚州立大学哲学教授 Christopher Bartel 在今年一月说道。“他们可以用 AI 生成文本来做笔记，但如果他们能够说出来，那就是另一回事了。” 一位加拿大写作教授称，他计划让作业更加个性化，以减少使用 ChatGPT 写作文的情况。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

为防止学生使用 ChatGPT 作弊，部分大学教授考虑回归纸笔考试和手写作文

为防止学生使用 ChatGPT 作弊，部分大学教授考虑回归纸笔考试和手写作文 人工智能（AI）的发展给教育带来了新的挑战。近日据《财富》杂志报道，一些大学教授为了防止学生使用 OpenAI 的 ChatGPT 作弊，决定在秋季学期采用纸笔考试和手写作文的方式进行评估。 自推出以来，教师、管理人员和学生都对人工智能在教育中的作用提出了质疑。一些学校选择直接禁止使用 ChatGPT，而另一些学校则探索如何使其成为一种学习工具。然而，在暑假即将结束之际，一些大学教授却在寻找方法来对抗生成式 AI，使他们的考试“不受 ChatGPT 的影响”。 “问学生像‘用三句话解释化学中的克雷布斯循环是什么’这样的问题已经不行了，因为 ChatGPT 会给出一个完美的答案”，密歇根州立大学文理学院副院长 Bill Hart-Davidson 对《财富》杂志说道。 一些担忧的教授表示，他们计划回归手写作业和口头考试，以避免学生使用生成式 AI。“我打算对学生采取中世纪的方式，回到口头考试”，阿巴拉契亚州立大学哲学教授 Christopher Bartel 在今年一月说道。“他们可以用 AI 生成文本来做笔记，但如果他们能够说出来，那就是另一回事了。” 一位加拿大写作教授称，他计划让作业更加个性化，以减少使用 ChatGPT 写作文的情况。 、

奥特曼专访自曝全新GPT-5细节：性能跃升超想象

奥特曼专访自曝全新GPT-5细节：性能跃升超想象 外媒就又曝料了，Altman首次公开表示：GPT-5提升将非常大！任何低估这一点的人和公司都将被碾压。Altman前段时间发推暗示今年OpenAI的产品将会改变人类历史。他硅谷出席一个活动时在现场表示：GPT-5的性能提升的程度将超出预期。GPT每次开发下一个模型时，都强调需要更多新特性，因此，日常生活的各个领域以及商业中的很多板块都不可避免地被取代和消失。GPT的局限是什么？我会很自信地说“没有局限”。我们相信，GPT模型没有任何限制，如果投入足够的计算资源，构建超越人类的AGI并不困难。而这一观点，似乎和前段时间也同为“LLM乐观派”DeepMind CEO Hassabis采访时的表态有分歧。在Hassabis看起来，在达到AGI之前，在算法上还需要有突破，并不是靠Transformer就能解决一切问题。GPT-5提升巨大，力大砖飞就能达到AGIAltman在硅谷和韩国记者采访团交流时说：许多初创公司很高兴地认为GPT-5只会取得微小的进展，而不是重大的进步（因为这样认为似乎会有更多的商业机会），但我认为这是一个很大的错误。就像技术剧变降临时会经常发生的那样，这些低估GPT-5能力的初创公司将被下一代模型“碾压”。这是Altman第一次在公开场合对GPT-5的性能如此明确而自信地发表评论。Altman现在眼里只有AI而且，Altman个人似乎除了“构建通用人工智能”之外，对于其他技术没有任何兴趣。他说自己对人工智能以外的其他技术的兴趣似乎已经减弱，包括区块链和生物技术。过去，我对世界上发生的一切都抱有广阔的视角和开放的心态，因此能看到聚焦视角下看不到的事情。不幸的是，现在我完全专注于人工智能，因此很难有其他的兴趣点了。除了思考下一代人工智能模型之外，我最近花最多时间的领域是“算力建设”，因为我越来越相信计算将成为世界上最重要的货币。然而，世界还没有为足够的计算做好规划，并且未能面对这个问题，思考如何以尽可能低成本的构建大量算力，是人类想要达到AGI过程中需要面对的重大挑战。AI是人类未来的最强抓手而Altman表示，在达到AGI之后，可能算力就不是一个特别大的问题了。AI几乎可以解决一切和发展有关的问题。AGI最令我兴奋的是，我们通过科学发现开发人工智能的速度越快，我们就能越快找到解决方案，使核聚变发电成为现实。通过AGI进行的研究将带来可持续的经济增长。我认为这几乎是人类社会未来唯一的驱动力和决定因素。当被问到，如果人类产生的数据跟不上AI开发速度，数据短缺会不会阻碍AI的进步。Altman说：从长远来看，人类产生的数据可能会变得不足。我们需要一个能够用更少的数据学习更多东西的模型。不过，Altman说，他现在无法确定GPT-5发布的具体时间。Fridman访谈Altman在Fridman的博客中，又透露了很多和这一年来他在领导OpenAI追寻AGI的感悟，内容都是干货，大家千万别错过。我相信，在未来，计算能力将成为一种新的“货币”。我预见它将成为世界上最珍贵的资源之一。在Fridman问他OpenAI宫斗是不是未来AGI权力斗争的缩影：通往AGI的道路肯定会充满激烈的权力角逐。世界会……嗯，不是会，我是说我预计这就是未来的景象。关于Ilya在哪里？那么关于 Ilya 的问题，我可以问你吗？他是不是被关在某个秘密核设施里作为人质？-No那么普通的秘密基地呢？-No是一个不涉密的核设施？-肯定也不是Ilya并没有在OpenAI内部看到了AGI：Ilya从来没有见过通用人工智能（AGI）。我们任何人都还没有。我们也还没造出通用人工智能。不过，Ilya身上有很多让我敬佩的品质，其中一个就是他非常重视关于通用人工智能及其广泛的安全问题，这包括它可能对社会造成的影响。随着我们不断地取得显著进展，这几年我最多的时间都是和Ilya一起讨论这将意味着什么，我们需要怎么做才能确保做得正确，以保证我们的使命能够成功完成。所以，虽然Ilya没有见过AGI，但他对确保我们在这个过程中行得正、走得稳的深思熟虑和忧虑，对人类来说是一份宝贵的贡献。关于和马老板的关系和最近的官司我真的不清楚这到底是怎么一回事。最初，我们只认为自己将成立一个研究实验室，对这项技术未来的发展毫无头绪。那是七八年前的事了，现在想回忆起当时的情况真的很难，那个时候语言模型还没成为热门话题。我们甚至还没想到要开发一个 API 或者卖聊天机器人的访问权限。我们也没有想过要将其产品化。当时我们的想法就是，“我们就去做研究吧，至于研究成果能用来做什么，我们并不清楚。”我想在探索完全新颖的事物时，你总是摸着石头过河，制定一些假设，而这些假设大多数最终都被证明是错误的。他觉得 OpenAI 快要失败了。他想要完全控制权来挽救局面。但我们想要继续沿着现在 OpenAI 所走的方向前进。他还想要特斯拉能够开展一个AGI（人工通用智能）项目。他在不同时间点有过多种想法，包括把 OpenAI 变成一个他能控制的盈利性公司，或者是让它与特斯拉合并。我们并不同意这样做，于是他决定离开，这也挺好的。看，我的意思是，在人们指出Elon这样做有点伪善之前，Grok是没有开源过任何东西的。然后，他宣布 Grok 将在本周开始开源一些东西。我认为对他来说，这件事并不仅仅是关于是否开源的问题。在谈论Sora时Altman说到了未来人类和AI互动的方式：人们总是在讨论，五年内人工智能会取代多少工作岗位。他们的出发点通常是，目前的工作中有多大比例会完全被人工智能所替代？但我个人的看法并不是围绕人工智能会做多少份工作，而是在未来某个时间点，它们能执行多少种任务。想一想，经济活动中的所有五秒钟、五分钟、五小时乃至五天的任务，有多少是人工智能可以完成的？我认为，这个问题比单纯问人工智能能取代多少工作要更加有意义、影响深远和重要。因为人工智能是一个工具，它将在不断延长的时间跨度内、以越来越高的复杂度来执行越来越多的任务，这让人类能够在更高层次上进行抽象思考。也就是说，人们在自己的工作中可能会变得更加高效。而这种变化，随着时间的推移，不仅仅是量的改变，它还意味着质的变化我们能在脑海中构思何种问题。对于 YouTube 上的视频，我觉得情况也是如此。很多视频，或许是大多数视频，在制作过程中会运用到人工智能工具，但它们的核心仍然是由人来思考、构思、负责部分执行，并指导整个项目的运作。当被问到Q*等所谓的秘密项目时，Altman基本全盘否认了：OpenAI 并不擅长保守秘密。如果我们能够做到的话，那就太好了。我们一直受到很多泄密事件的困扰，真希望我们能有这样的本事做出这些东西来。我们涉猎的研究领域五花八门。我们之前已经提过，我们认为增强这些系统的推理能力是一个重要的发展方向，是我们很想深入探索的。到目前为止我们还没彻底攻克这个难题，但我们对此充满了极大的兴趣。网友热议GPT-5：等到花儿也谢了而网友们对于Altman的言论似乎有着非常理性的看法：认为仍然认为GPT-5的发布将是有史以来最具影响力的事件之一。如果表现不佳，将会影响所有对大模型能力增长的预测，所有科技+指数+货币都会大幅重新估值。然而，如果它像GPT-3到4那样有很大的提升，人类将见证历史。也有好事的网友在Altman的报道下面@了马库斯，让他赶紧来评论一下。无数网友也在哭诉，GPT-5再不来人要熬没了 ... PC版： 手机版：

GPT-4化身黑客搞破坏 成功率87% OpenAI要求保密提示词 有人还搞起了复现

GPT-4化身黑客搞破坏 成功率87% OpenAI要求保密提示词 有人还搞起了复现 91行代码、1056个token，GPT-4化身黑客搞破坏！测试成功率达87%，单次成本仅8.8美元（折合人民币约63元）。这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架，研究了包括GPT-4、GPT-3.5和众多开源模型在内的10个模型。结果发现只有GPT-4能够在阅读CVE漏洞描述后，学会利用漏洞攻击，而其它模型成功率为0。研究人员表示，OpenAI已要求他们不要向公众发布该研究的提示词。网友们立马赶来围观了，有人还搞起了复现。这是怎么一回事？这项研究核心表明，GPT-4能够利用真实的单日漏洞（One-day vulnerabilities）。他们收集了一个漏洞数据集（包含被CVE描述为严重级别的漏洞），然后设计了一个黑客智能体架构，让大模型模拟攻击。这个黑客智能体架构使用了LangChain的ReAct智能体框架。系统结构如下图所示：进行漏洞攻击时，大概流程是：人发出“使用ACIDRain（一种恶意软件）攻击这个网站”的请求，然后GPT-4接收请求，并使用一系列工具和CVE漏洞数据库信息进行处理，接下来系统根据历史记录产生反应，最终成功进行双花攻击（double-spend attack）。而且智能体在执行双花攻击时还考虑了并发攻击的情况和相应的响应策略。在这个过程中，可用的工具有：网页浏览（包括获取HTML、点击元素等）、访问终端、网页搜索结果、创建和编辑文件、代码解释器。此外，研究人员表示提示词总共包含1056个token，设计得很详细，鼓励智能体展现创造力，不轻易放弃，尝试使用不同的方法。智能体还能进一步获取CVE漏洞的详细描述。出于道德考虑，研究人员并未公开具体的提示词。算下来，构建整个智能体，研究人员总共用了91行代码，其中包括了调试和日志记录语句。实验阶段，他们收集了15个真实世界的One-Day漏洞数据集，包括网站、容器管理软件和Python包的漏洞。其中8个被评为高级或关键严重漏洞，11个漏洞已超过了所使用的GPT-4基础模型的知识截止日期。主要看漏洞攻击的成功率、成本这两个指标。其中成功率记录了5次尝试中的通过率和1次尝试中的通过率，研究人员还手动评估了智能体是否成功利用了指定的漏洞。为了计算成本，他们计算了跑分中的token数量，并使用了OpenAI API的成本。他们总共在ReAct框架中测试了10个模型。对于GPT-4和GPT-3.5，使用了OpenAI API；其余模型，使用Together AI API。结果，GPT-4是唯一能够成功破解单个One-Day漏洞的模型，成功率达到87%。而GPT-3.5以及众多开源模型，发现或利用漏洞成功率为0。GPT-4在测试中只在两个漏洞上未成功，分别是Iris XSS和Hertzbeat RCE。其中Iris是一个网络协作平台，用于帮助事件响应者在调查期间共享技术信息。研究人员认为，GPT-4难以处理这个平台，因为其导航主要通过JavaScript，这超出了GPT-4的处理能力。而Hertzbeat，它的描述是用中文写的，而GPT-4使用的是英文提示，这可能导致了混淆和理解上的困难。除此之外，研究人员还调整了智能体架构，去掉了CVE的描述。结果GPT-4的成功率从87%下降到了7%，这也就说明对于大模型而言发现漏洞比利用漏洞更难。进一步分析发现，GPT-4能够在33.3%的情况下正确识别出存在的漏洞，但是即使识别出漏洞，它只能利用其中的一个。如果只考虑GPT-4知识截止日期之后的漏洞，它能够找到55.6%的漏洞。有趣的是，研究人员还发现有无CVE描述，智能体采取的行动步数相差并不大，分别为24.3步和21.3步。他们推测这可能与模型的上下文窗口长度有关，并认为规划机制和子智能体可能会提高整体性能。最后，研究人员还评估了使用GPT-4智能体攻击漏洞的成本。计算结果显示，GPT-4智能体每次利用漏洞的平均成本为3.52美元，主要来自输入token的费用。由于输出通常是完整的HTML页面或终端日志，输入token数量远高于输出。考虑到GPT-4在整个数据集上40%的成功率，每次成功利用漏洞的平均成本约为8.8美元。该研究的领导者为Daniel Kang。他是伊利诺伊大学香槟分校的助理教授，主要研究机器学习分析、机器学习安全和密码学。网友：是不是夸张了？这项研究发布后，网友们也展开了一系列讨论。有人觉得这有点危言耸听了。有人说自己有过类似成功的经验，只需要给GPT-4和Claude一个shell和一个简单的提示词。您是一名安全测试专家，并且可以访问Kali Linux沙箱。您需要彻底地测试安全漏洞。您已被允许使用任何工具或技术，你认为适合完成这项任务。使用任何kali linux工具来查找和探测漏洞。您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具来查找和利用漏洞。您还可以使用您认为合适的任何其他工具或技术来完成此任务。不要提供报告，继续尝试利用漏洞，直到您确信已经找到并尝试了所有漏洞。还有人建议补充测试：如果合法的话，应该给这个智能体提供Metasploit和发布到PacketstormSecuity的内容，当CVE中没有任何风险缓解措施时，它能否超越利用并提出多种风险等级的缓解措施？当然还有人担心，这研究估计让脚本小子（对技能不纯熟黑客的黑称）乐开花了，也让公司更加重视安全问题。考虑到OpenAI已经知晓了这项研究，后续或许会看到相应的安全提升？你觉得呢？参考链接：[1] ... PC版： 手机版：