如果你对GPT-4V带来的广泛经济变革想要深入研究兴趣，这篇《LMM的黎明：与GPT-4V(ision)的初步探索》论文有着

如果你对GPT-4V带来的广泛经济变革想要深入研究兴趣，这篇《LMM的黎明：与GPT-4V(ision)的初步探索》论文有着深入原理、行业应用层面的讨论（图9）。Enjoy～https://arxiv.org/abs/2309.17421当然，这些令人振奋的演示背后，AI教育专业人士也不断提醒表示「演示是一回事，实际使用是另一回事。」AI模型还会犯错，值得我们保持批判性思考，不断在日常生活和工作流持续探索。欢迎来到AI多模态的新时代～

Siri终结的开始？用GPT-4V“操纵”iPhone 无需训练可完成任意指令

Siri终结的开始？用GPT-4V“操纵”iPhone无需训练可完成任意指令根据测试，GPT-4V在iPhone上完成类似任务的成功率可达75%。因此，有人感叹有了它，Siri渐渐就没有用武之地了（比Siri更懂iPhone）谁知有人直接摆摆手：Siri压根儿一开始就没这么强好嘛。（狗头）还有人看完直呼：智能语音交互时代已经开始。我们的手机可能要变成一个纯粹的显示设备了。真的这么？GPT-4V零样本操作iPhone这项研究来自加州大学圣地亚哥分校、微软等机构。它本身是开发了一个MM-Navigator，也就是一种基于GPT-4V的agent，用于开展智能手机用户界面的导航任务。实验设置在每一个时间步骤，MM-Navigator都会得到一个屏幕截图。作为一个多模态模型，GPT-4V接受图像和文本作为输入并产生文本输出。在这里，就是一步步读屏幕截图信息，输出要操作的步骤。现在的问题就是：如何让模型合理地计算出给定屏幕上应该点击的准确位置坐标（GPT-4V只能给出大概位置）。作者给出的解决办法非常简单，通过OCR工具和IconNet检测每一个给定屏幕上的UI元素，并标记不同的数字。这样一来，GPT-4V就只需面对一张截图指出要点什么数字进行操作就好。两项能力测试测试率先在iPhone上展开。要想成功操纵手机涉及到GPT-4V不同类型的屏幕理解能力：一个是语义推理，包括理解屏幕输入和阐明完成给定指令所需的动作。一个是指出每一个动作应执行的精确位置（即该点哪个数字）的能力。因此，作者开发了两组测试分别进行区分。1、预期动作描述只输出应该干啥，不输出具体坐标。在这个任务中，GPT-4V理解指令并给出操作步骤的准确率为90.9%。比如在下面这个Safari浏览器的截图中，用户想要打开一个新标签页，但左下角的+号是灰色的，应该怎么办？GPT-4V回答：通常这样操作是ok的，但从截图来看，您似乎已经达到了500个标签页的上限，要想再打开新的，需要关闭一些已有选项卡，然后再看看+号是否可以点击。看图理解表现得很不错～更多例子可以翻阅论文。2、本地化动作执行当让GPT-4V把这些“纸上谈兵”都化为具体行动时（即第二个测试任务），它的正确率有所下降，来到74.5%。还是上面的例子，它可以遵循自己给出的指令，给出正确的操作数字，比如点击数字9关闭一个标签页。但如下图所示，让它找一个可以识别建筑物的应用程序时，它可以准确指出用ChatGPT，但是却给出了错误数字“15”（应该是“5”）。还有的错误是因为屏幕截图本身就没有标出对应位置。比如让它从下面的图中开启隐身模式，直接给了wifi处于的“11”位置，完全不搭嘎。此外，除了这种简单的单步任务，测试也发现GPT-4V完全可以不需训练就胜任“买起泡器”这样的复杂指令。在这个过程中，我们可以看到GPT-4V事无巨细地列出每一步该干什么，以及对应的数字坐标。最后，是安卓机上的测试。整体来看，比其他模型比如Llama2、PaLM2和ChatGPT表现得明显要好。在执行安装、购物等任务中的总体表现最高得分为52.96%，这些基线模型最高才39.6%。对于整个实验来说，它最大的意义是证明多模态模型比如GPT-4V能够将能力直接迁移到未见过的场景，展现出进行手机交互的极大潜力。值得一提的是，网友看完这项研究也提出了两个点：一是我们如何定义任务执行的成功与否。比如我们想让它买洗手液补充装，只想要一袋，它却加购了六袋算成功吗？二是大伙也不能兴奋得太早，要想真的商用这项技术，前进空间还很大。因为，准确率可达95%的Siri都还经常被吐槽很差劲呢。团队介绍本研究一共12位作者，基本都来自微软。共同一作两位。分别是加州大学圣地亚哥分校的博士生AnYan，以及微软的高级研究员ZhengyuanYang，后者本科毕业于中科大，博士毕业于罗切斯特大学。...PC版：https://www.cnbeta.com.tw/articles/soft/1397207.htm手机版：https://m.cnbeta.com.tw/view/1397207.htm

GPT-4V 开启了AI 多模态时代

GPT-4V开启了AI多模态时代越来越多人拿到ChatGPT新的多模态能力，让我们先望梅止渴，看看海外玩家们如何探索出的大批新场景和应用案例；相信你也和我一样能意识到，GPT-4V正在推动世界进入全新的阶段。无论你是学生、父母、老师、医生、程序员、设计师、创作者、工程师，或是传统农业和制造业，都能在以下场景找到启发。教学场景。Peteryang演示了一个教育场景：他使用ChatGPT的图像识别和分析能力，他的孩子讨论了人体结构，从大脑到心脏的精确说明令人振奋。提示词只有一句：“我现在一年级。给我解释一下。”这代表着学生将进入前所未有1:1的个性化指导时代。（图1）停车场景。面对眼花撩乱的停车指示牌，Peter还请GPT-V智能识别并推理分析了一下具体的可行性，「请一句话告诉我：现在周三下午4点，我能在这停车吗？」结果秒出～（图2）饮食健康。MckayWrigley测试了GPT-4V作为健康管理工具的能力，智能分析了图片中所有的蔬菜水果「转换」成了基于热量、蛋白、脂肪的结构化数据（Json格式便于后续编程，图3）故事脚本分析。MckayWrigley还让GPT-V分析了《盗梦空间》的设计图标，发现ChatGPT对图表的结构和流程、各个部分的位置有着深入的理解，并能够连贯、智能地将其拼凑在一起。（图4）图片对照。AndrewMorgan发现GPT-V非常擅长对比图片差异。「找不同」功能看起来微不足道，但是想一想库存管理、取证扫描、甚至制造业等生产场景，他认为视觉智能的应用前景不可估量。（图5）学术研究。教授EthonMollick让GPT-4V识别了一个手稿，识别率惊人的高。他认为对于许多学术领域来说，这可能会是一件大事，特别是因为AI还可以对文本进行「推理」。（图6）室内设计。PietroSchirano请GPT-4V给出了改进建议，结合自定义说明将其进行了个性化建议中，从颜色到触感（图7）。Pietro感到难以置信！摄影技巧。Pietro还尝试GPT-4V对指定的摄影作品给建议，其专业建议的推理能力令人大开眼界。参数设置建议，如图8。

GPT-4不会图形推理？“放水”后准确率依然只有33%

GPT-4不会图形推理？“放水”后准确率依然只有33%△虚线表示16项任务的平均表现这项实验结果发表后，迅速在YC上引发了广泛热议。赞同这项结果的网友表示，GPT确实不擅长抽象图形处理，“位置”“旋转”等概念理解起来更加困难。但另一边，不少网友对这个结论也有所质疑，简单说就是：不能说是错的，但说完全正确也无法让人信服。至于具体的原因，我们继续往下看。GPT-4准确率仅33%为了评估人类和GPT-4在这些图形题上的表现，研究者使用了自家机构于今年5月推出的ConceptARC数据集。ConceptARC中一共包括16个子类的图形推理题，每类30道，一共480道题目。这16个子类涵盖了位置关系、形状、操作、比较等多个方面的内容。具体而言，这些题目都是由一个个像素块组成的，人类和GPT需要根据给定的示例寻找出规律，分析出图像经过相同方式处理后的结果。作者在论文中具体展示了这16个子类的例题，每类各一道。结果451名人类受试者平均正确率，在各子项中均不低于83%，16项任务再做平均，则达到了91%。而GPT-4（单样本）在“放水”到一道题可以试三次（有一次对就算对）的情况下，准确率最高不超过60%，平均值只有33%。早些时候，这项实验涉及的ConceptARCBenchmark的作者也做过类似的实验，不过在GPT-4中进行的是零样本测试，结果16项任务的平均准确率只有19%。而多模态的GPT-4v，准确率反而更低，在一个48道题组成的小规模ConceptARC数据集中，零样本和单样本测试的准确率分别只有25%和23%而研究者在进一步分析了错误答案后，发现人类的有些错误看上去很可能是“粗心导致”，而GPT则是完全没有理解题目中的规律。针对这些数据，网友们普遍没什么疑问，但让这个实验备受质疑的，是招募到的受试人群和给GPT的输入方式。受试者选择方式遭质疑一开始，研究者在亚马逊的一个众包平台上招募受试者。研究者从数据集中抽取了一些简单题目作为入门测试，受试者需要答对随机3道题目中的至少两道才能进入正式测试。结果研究人员发现，入门测试的结果显示，有人只是想拿钱，但根本不按要求做题。迫不得已，研究者将参加测试的门槛上调到了在平台上完成过不少于2000个任务，且通过率要达到99%。不过，虽然作者用通过率筛人，但是在具体能力上，除了需要受试者会英语，对图形等其他专业能力“没有特殊要求”。而为了数据的多样化，研究者在实验后期又将招募工作转到了另一个众包平台，最终一共有415名受试者参与了实验。尽管如此，还是有人质疑实验中的样本“不够随机”。还有网友指出，研究者用来招募受试者的亚马逊众包平台上，有大模型在冒充人类。再来看GPT这边的操作，多模态版本比较简单，直接传图然后用这样的提示词就可以了：零样本测试中，则只要去掉相应的EXAMPLE部分。但对于不带多模态的纯文本版GPT-4（0613），则需要把图像转化为格点，用数字来代替颜色。针对这种操作，就有人表示不认同了：把图像转换成数字矩阵后，概念完全变了，就算是人类，看着用数字表示的“图形”，可能也无法理解OneMoreThing无独有偶，斯坦福的华人博士生JoyHsu也用几何数据集测试了GPT-4v对图形的理解能力。这个数据集发表于去年，目的是测试大模型对欧氏几何的理解，GPT-4v开放后，Hsu又用这套数据集给它测试了一遍。结果发现，GPT-4v对图形的理解方式，似乎“和人类完全不同”。数据上，GPT-4v对这些几何问题的回答也明显不如人类。论文地址：[1]https://arxiv.org/abs/2305.07141[2]https://arxiv.org/abs/2311.09247参考链接：[1]https://news.ycombinator.com/item?id=38331669[2]https://twitter.com/joycjhsu/status/1724180191470297458...PC版：https://www.cnbeta.com.tw/articles/soft/1398629.htm手机版：https://m.cnbeta.com.tw/view/1398629.htm

OpenAI称正在开发可高精度检测AI生成图像工具

OpenAI称正在开发可高精度检测AI生成图像工具据了解，目前已经有少数工具声称可以检测人工智能生成的图像或其他内容，但这些工具的检测结果似乎仍不够准确。例如，OpenAI在1月份发布了一个类似的工具，旨在确定文本是否由人工智能生成的，但由于不可靠，该工具在7月份被搁置了。该公司表示，它正在努力改进该软件，并致力于开发识别音频或图像是否由人工智能生成的方法。由于人工智能工具可用于操纵或编造全球事件的新闻报道，对此类检测工具的需求越来越重要。Adobe（ADBE.US）的Firefly图像生成器通过承诺不创建侵犯创作者知识产权的内容，解决了这一挑战的另一个方面。周二，OpenAI高管还暗示了GPT-4之后的人工智能模型。虽然OpenAI尚未公开表示GPT-4的后续模型可能被称为什么，但这家初创公司在今年7月向美国专利商标局提交了“GPT-5”商标申请。当被问及GPT-5模型是否不再编造内容时，Murati表示：“也许吧。”“让我们看看。我们在GPT-4的‘幻觉’问题上取得了很大进展，但我们还没有达到我们需要的程度，”她表示。最后，OpenAI首席执行官SamAltman还谈到了OpenAI可以设计和制造自己的计算机芯片来训练和运行自己的人工智能模型的可能性，而不是使用目前被视为市场领导者的英伟达（NVDA.US）等公司提供的芯片。“默认的做法当然是不这么做，”他表示，“但我永远不会排除这种可能性。”...PC版：https://www.cnbeta.com.tw/articles/soft/1390783.htm手机版：https://m.cnbeta.com.tw/view/1390783.htm

GPT-4论文竟有隐藏线索：GPT-5或完成训练、OpenAI两年内接近AGI

GPT-4论文竟有隐藏线索：GPT-5或完成训练、OpenAI两年内接近AGI1.ARC(AlignmentResearchCenter)是一个非营利性研究机构，其使命是使未来的机器学习系统与人类利益保持一致。ARC的目标是训练AI模型，使其不会操纵、欺骗甚至伤害人类）。OpenAI曾经选择让ARC去测试评估GPT-4会不会主动避免自己被“挂掉”，说明此前必定出现过这种情况。OpenAICEOSamAltman认为人类需要对AI做更多的监管，以符合人类的利益。OpenAI担忧科技竞赛会导致安全标准的下降、不良规范的扩散、AI发展进程的加速，加剧与人工智能相关的社会风险。但是微软CEO和CTO希望OpenAI的模型能尽快让用户用起来。可以肯定的一点是OpenAI和微软在这件事的想法是相悖的。OpenAI雇佣了预测专家，来预测当他们部署了GPT-4之后会带来怎样的风险。“超级预测员”建议将GPT-4部署时间推迟6个月，也就是今年秋季左右；但很显然，OpenAI并没有采纳他们的建议。OpenAI这么做的原因，可能是来自微软的压力。2.OpenAI会协助超越它的公司：OpenAI做出了一个非常大胆的承诺："如果另一家公司在我们之前实现了接近AGI（通用人工智能），那我们承诺不会跟它做竞争，相反，会协助完成那个项目。但这种情况发生的条件，可能是另一家公司需得在未来两年内，成功接近AGI的机会在一半或以上"而这里提到的AGI，OpenAI和Altam在官方博客中已经给出了定义——普遍比人类更聪明，并且有益于全人类的人工智能系统。3.GPT-4确实已经达到了人类的常识水平。博主在论文中找到了相关数据，在“人类”那一栏中，分数分布在了94-96.5之间。而GPT-4的95.3，便正好在这个区间之间。4.OpenAI在去年年底推出ChatGPT的时候，已经有了GPT-4。GPT-5可能已经完成训练5.像ChatGPT、GitHubCopilot这些工具导致某些工作的自动化。GPT-4的能力可以在某些特定领域中以人类10倍甚至更高的效率来完成。5.OpenAI让GPT-4学会拒绝的方法，叫做基于规则的奖励模型（RBRMs）。这种方法的工作流程：给GPT-4一组要遵守的原则，如果模型遵守了这些原则，那么就会提供相应的奖励。他认为OpenAI正在用人工智能的力量，让AI模型朝着符合人类原则的方向发展。()参考链接：[1]https://www.youtube.com/watch?v=ufQmq6X22rM[2]https://cdn.openai.com/papers/gpt-4.pdf投稿：@ZaiHuabot频道：@TestFlightCN