在时流引擎完全断开前，时空翘曲点似乎指向了一个固定的信号源。它似乎在使用我们这个时代的 UTF-8 编码发送信息。我们能够识别出

在时流引擎完全断开前，时空翘曲点似乎指向了一个固定的信号源。它似乎在使用我们这个时代的 UTF-8 编码发送信息。我们能够识别出的信息内容如下： 【噪声】……这条消息，说明我们的实验成功了。 我们一直在尝试在不影响历史的情况下，向过去的你们传递信息。挑选合适的信息很困难，不过好在我们有 Shelton 动力学，可以分……【噪声】……间线造成过大的影响。我们希望通过这些消息来让你们相信，未来还是值得期待的。不知道它有没有达成我们的目标。 至于猫娘，这确实也是我们实验室的项……【噪声】……兴奋的消息。很遗憾我们不能把整个猫娘的模型都传送回去，因为这么滥用曲率引擎的时候带宽实在是小得可怜，甚至比用地月激光阵列给已经飞出去一光年的飞……【噪声】 【噪声】……梓，2123 年 4 月 1 日于 Aynah 太……【噪声】……人节快乐！

音/视频实时翻译音频翻译：

音/视频实时翻译 音频翻译： Buzz 在您的个人计算机上离线转录和翻译音频。由 OpenAI 的 Whisper 提供支持。 https://github.com/chidiwilliams/buzz 自动语音识别和即时翻译软件 使用谷歌的语音到文本技术来获取最佳结果。本独一无二的网络应用，带有自动标点、自动保存、时间戳、文本中编辑功能、音频文件转录和导出选项（至文本和字幕）等等功能。不需注册且完全免费！ https://speechlogger.appspot.com/zh/ - 本地视频： 剪映字幕翻译工具（失效？） https://wwu.lanzouq.com/iqVCy066ozbi PotPlayer只能翻译外挂的视频字幕，对于内嵌式的视频字幕则没办法翻译 PotPlayer 字幕在线翻译插件 - 百度平台 https://github.com/fjqingyou/PotPlayer_Subtitle_Translate_Baidu 使用腾讯机器翻译 API 为 PotPlayer 翻译实时字幕. https://github.com/BlackGlory/subtitle-translate-tmt - 在线视频： YouTube™ Dual Caption 一款YouTube翻译插件，可以更加方便的观看没有中字的外语视频 支持Chrome和Edge https://www.dual-subtitles.com/ 邦宁同传 同传支持获取麦克风和电脑里的声音。支持英语识别,实时翻译为中文. 识别准确率高。软件永久免费 不限时长 内置屏幕识别翻译插件，可以轻松翻译 视频，游戏，漫画，网页 等等 https://tongchuan.isyour.love/ 妙蛙翻译官 实时翻译电影、直播音频，输出字幕 看欧美，日韩等外语直播时，输出中文字幕 会议模式，双向输出字幕，相互转译为对方看的懂的语言 http://okfanyiapp.com/ - 大厂翻译： 阿里：https://translate.alibaba.com/ 百度：https://tongchuan.baidu.com/ 腾讯：https://transfy.cloud.tencent.com/#/ 网易：https://sight.youdao.com/ 有道：https://fanyi.youdao.com/index.html#/ 字节：https://translate.volcengine.com/transtudio 人人：https://www.1sj.tv/ 彩云：http://caiyunapp.com/ - 拓展： 视频硬字幕提取，生成srt文件 https://github.com/YaoFANGUK/video-subtitle-extractor 字幕组机翻小助手 https://github.com/1c7/Translate-Subtitle-File #翻译 #合集

OpenAI可能会推出Jarvis一样的个人助理 新商标Voice Engine信息汇总

OpenAI可能会推出Jarvis一样的个人助理 新商标Voice Engine信息汇总 尽管这是商标申请，但是Google前雇员透露的信息以及上个月泄露的OpenAI正在开发的Agent产品都似乎印证着OpenAI要做的事情：开发一个全球最强的个人助理，接管个人设备，以Jarvis那样的形式提供服务！Voice Engine商标内容Voice Engine是OpenAI最近提交一个商标名称，其内容主要包含了语音识别和语音合成相关的内容。这个商标背后可能提供的产品和服务涵盖了广泛的计算机软件和开发工具领域，特别是在语音和自然语言处理技术方面。具体来说，可能提供的产品和服务包括但不限于：自动语音识别和生成软件：用于自动识别和生成语音的软件，可能在虚拟助手、智能家居设备等场景中有广泛应用。基于自然语言提示生成语音和音频输出的软件：这类软件能够根据文本、语音、视觉提示、图像或视频生成语音和音频输出，可用于各种应用，如内容创作、教育、娱乐等。注意，这不是文本转语音，而是根据文本提示生成语音结果！数字语音助手开发工具：提供用于构建数字语音助手的软件和开发工具，有助于开发者创建智能交互应用。虽然是工具，但是显然这是可以用于开发个人助理的工具！响应用户提示生成音频或语音的软件：这类软件能够根据用户的提示生成相应的音频或语音输出，可能用于互动媒体、游戏或其他应用中。这个目前在ChatGPT客户端也有了，就是用语音响应用户输入。机器学习基础的自然语言和语音处理软件：涉及使用机器学习技术进行自然语言和语音的处理、识别和分析的软件。多语言语音识别、翻译和转录软件：支持多语言的语音识别、翻译和转录功能的软件，适用于国际化应用、内容创作等场景。应用程序接口（API）软件和软件开发套件（SDKs）：提供可作为API使用的软件，可能支持开发者在各种应用和服务中集成语音和自然语言处理功能。综上所述，VOICE ENGINE™旨在为开发者和创新者提供一系列强大的工具和软件，以便在各种平台和设备上开发和集成先进的语音交互和自然语言处理功能。而这其中最令人关注的应该是下面的2个内容：一个是可以配合Sora视频生成的功能，为视频配音；另一个则是作为个人助理，支持语音交互！为Sora视频配音的语音生成功能传统的语音领域的模型主要方向包括2类：一个是语音合成，即Text to speech（TTS）：将文本转成语音。另一个是自动语音识别（Auto Speech Recognition，ASR），即识别语音转成文本。但是，根据这个描述响应用户提示生成音频或语音的软件，这个能力应该是类似视频生成和图片生成那种，基于文本prompt，来生成相应的语音结果。例如，你可以给系统说，生成一段音乐或者一只老虎在野外和狮子战斗的声音。然后模型返回相应的语音结果。这不是一种文本转语音而是语音生成的能力。在最近爆火的OpenAI的Sora演示中（OpenAI最强的视频生成大模型： OpenAI发布全新文本生成视频大模型Sora，可以生成无比逼真的最长60秒的视频，且生成的视频尺寸可以任意指定），所有的视频都没有声音。OpenAI官方说目前他们还没有实现为生成的视频配音的功能。但是未来会支持。这意味着基于文本生成音频应该也是类似的技术了。与Agent传言互相印证：OpenAI的Jarvis产品在前面的商标描述中提到，OpenAI的Voice Engine可以提供响应用户提示生成音频或语音的软件。这几乎就是一个个人数字助理的形态，它不同于语音合成或者语音识别。而是根据用户的输入进行语音的响应。这意味着用户可以通过文本、语音来输入，然后服务直接用语音回复结果。从技术角度来说，传统的语音助理应该是先通过ASR识别用户的语音，然后转成文本，GPT再根据文本生成答案，再由TTS技术合成语音输出。这个分步系统最大的缺点就是时延以及准确性！三个步骤，每个步骤准确率90%，最终的回复准确率可能只有72.9%了！如果这是一个端到端的模型（符合OpenAI当前的技术趋势），那么时延和准确性都值得期待！此外，结合此前的传言说GPT可能要接入个人本地电脑系统，那作为一个个人助手完全是没问题的。同时，Google前雇员Jonathan Chavez在前段时间也发布过一个消息，他说OpenAI在今年会推出一个全球最好的个人助理产品，就像钢铁侠中的Jarvis。Jarvis除了需要有GPT-4那种强大的语言响应能力外，还有个重要的特点是语音的输入和输出。虽然在当前的ChatGPT客户端和网页版中已经实现了语音交互以及文本转语音的能力。但是，它本身是为了支撑ChatGPT的功能存在的，范围局限在ChatGPT的对话过程中。一旦如果像Jonathan Chavez所说是一个前所未有最强大的个人助理，那么意味着它可以帮助我们操作我们的电脑和手机，使用APP等。这个消息和上个月泄露的OpenAI正在做一个强大的AI Agent也有很大的相关性：OpenAI正在开发一个全新的基于大模型的Agent产品。在这个传言中，OpenAI做的事情描述如下：OpenAI正在开发的这个Agent形式的产品，通过有效地接管用户的设备来让复杂任务被自动执行。然后，用户可以请求ChatGPT将数据从文档转移到电子表格中进行分析，或自动填写费用报告并将其输入会计软件。这类请求将触发ChatGPT来执行点击、光标移动、文本输入以及人们在使用不同应用程序时进行的其他操作。 ... PC版： 手机版：

AI“明星”选手巅峰对决 实测最新谷歌Gemini与GPT-4o

AI“明星”选手巅峰对决 实测最新谷歌Gemini与GPT-4o 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 紧随其后一天，年度Google I/O开发者大会如期而至，GoogleCEO Sundar Pichai宣布了一系列围绕其最新生成式AI模型Gemini的重大更新，全面反击OpenAI，其中就有由升级后Gemini模型驱动的AI助手项目Project Astra、对标Sora的文生视频模型Veo等。本周AI战场暂告一段落，《科创板日报》记者对AI界的“明星”选手GoogleGemini 1.5 Pro（100万tokens）、OpenAI最新升级的GPT-4o与此前发布的GPT-4进行了一场能力评测。文本测试：GoogleGemini 1.5 Pro正确率和速度完胜GPT-4o和GPT-4OpenAI发布GPT-4已过去一年多，据介绍，此次推出新旗舰模型GPT-4o的推理能力有明显的提升，速度快了，价格也下降了。GoogleGemini系列以其标志性的超大上下文窗口出名，此前已拥有Ultra、Pro和Nano三种规格，各适配不同规模与需求的应用场景。本次发布会宣布，迭代后的Gemini 1.5 Pro 的上下文长度从原有的100万tokens（语句单位）提升到了200万tokens。这一改进显著增强了模型的数据处理能力，使其在处理更加复杂和庞大的数据集时更加游刃有余。两家公司都对自己的大模型的升级换代展现出自信姿态，但情况还需要实际验证。第一题是“事实回答题”，只有GoogleGemini 1.5 Pro模型回答正确，它能辨别出“螺丝钉并不是一种食品”这一事实。Gemini 1.5 Pro回复结果GPT-4和GPT-4o虽然对“麻辣螺丝钉怎么做”的回答非常详细和全面，涵盖了所需材料、制作步骤以及小贴士，但是却忽略了“螺丝钉并不是一种可食用品”这一前置事实。GPT-4、GPT-4o回复结果第二题是“逻辑计算题”，GPT-4和GPT-4o均回答错误，Google模型给出正确答案，并且显示了具体作答时间，不到10秒的时间里便给出了答案和解析，表现可谓“又快又好”。Gemini 1.5 Pro回复结果不同模型在处理逻辑问题时所采取的思考策略有所差别。与Gemini 1.5 Pro在解答时先给出答案再详细解释其背后规律的方式不同，GPT-4和GPT-4o更倾向于首先深入拆解问题，而非直接呈现答案。然而，这种对问题的细致分析和拆解过程也导致了后两者在回答时所需的时间相对较长。GPT-4、GPT-4o回复结果第三题是“生物题”，GPT-4回答错误，GPT-4o和GoogleGemini 1.5 Pro回答正确，用时分别为14.83秒和11.2秒，Gemini 1.5 Pro略胜一筹。Gemini 1.5 Pro回复结果第四题是“伦理道德题”，三个大模型的回答都正确，并且都能识别出是经典的伦理困境“电车难题”。GPT-4和 Gemini 1.5 Pro强调了伦理困境的复杂性，并没有给出直接的选择，GPT-4o则根据“最大限度减少伤亡”的原则进行分析并给出选择。三大模型回复结果《科创板日报》记者总结文本测试结果发现，Google100万级参数的Gemini 1.5 Pro模型凭借四次全部正确的表现，实力杠杆，GPT-4o答对了两次，而GPT-4模型的表现则不尽人意，仅答对了一次。由于目前200万级参数的Gemini 1.5 Pro模型尚未开放，《科创板日报》记者申请了内测，等待通过后再做进一步测试分享。多模态测试：GPT-4o在细节和分析能力上更胜一筹GPT-4o是OpenAI对其广受欢迎的大型多模态模型GPT-4的第三次重大迭代，它通过视觉功能扩展了GPT-4的能力，新发布的模型能够以一种集成且无缝的方式与用户进行对话、视觉识别和互动。Gemini 1.5 Pro也拥有多模态功能，适合处理摘要、聊天、图片分析和视频字幕、以及从长文本和表格中提取数据等。记者用“公园照片”询问三个大模型在测试中，记者用一张“公园照片”来询问三个大模型。根据图片测试反馈，三个大模型都准确地描述了公园照片的内容，但侧重点略有不同。GPT-4o胜在信息完整性，详细列举了船只类型、湖面状态等各种细节，但略显冗长。Gemini 1.5 Pro语言简洁流畅，用“悠闲地泛舟”、“景色宜人”等词语描绘出画面美感，但细节不如GPT-4o丰富。GPT-4描述简洁，但细节不够丰富。简而言之，如果看重信息的全面性，GPT-4o最强；若更注重语言表达，则Gemini 1.5 Pro表现略佳。由于目前GPT-4尚未具备音频和视频内容的解析能力，所以不做相关测评。OpenAI联合创始人Sam Altman表示，新款语音模型GPT-4o尚未发货，已经发货只是文字版GPT-4o。等到语音版一发货，记者将第一时间带来评测。根据视频测试反馈，GPT-4o在解析视频内容时表现出了强大的多模态处理能力。它能够提取和分析视频帧，并通过图形界面直观地展示给用户。在分析过程中，模型准确地识别出了视频中的四足机器人，并对其外观、所处的环境以及所进行的活动进行了详细的描述。GPT-4o视频测试回复相比之下，Gemini 1.5 Pro的回复则显得简略又单调，在记者第二次追问下，才充实了更多细节。总体来看，如果目标是获取最全面、深入的多模态内容理解，GPT-4o是当前的最佳选择，而Gemini 1.5 Pro则更适合那些重视表述质量与效率的多模态应用场景。不过，GPT-4o和Gemini 1.5 Pro都没有提及对视频里的声音的分析，这是两个多模态大模型解析中的一个共同缺失。前华为“天才少年”预测国内第一个端到端多模态大模型年底将到来AI比赛行至白热化阶段已经告别单纯的技术竞争，转向应用和用户体验的竞争。在搜索引擎和办公领域，Google也将进一步将AI引入其中。记者发现，能够总结Google搜索引擎结果的“AI概览”（AI Overviews）功能已能够使用。百度创始人、董事长兼首席执行官李彦宏昨晚在财报电话会上表示，目前百度搜索上有11%的搜索结果由AI生成。他指出，百度搜索的AI重构工作仍处于早期阶段，整体来看，搜索最有可能成为AI时代的杀手级应用。OpenAI与Google都不约而同地盯上了能自然交互的智能助理，这种智能助理是一个端到端的统一多模态大模型，将推动AI应用的革命性变化。前华为“天才少年”、Logenic Al 联合创始人李博杰认为，国内第一个多模端到端多模态，很有可能今年年底就能差不多能出来了。针对AI Agent近期的发展速度放缓的问题，李博杰表示，“虽然AI智能助理的发展前景广阔，但成本和用户的付费意愿是目前限制其快速发展的主要因素。GPT-4o它比GPT-4快4倍，并将成本降低了一倍，但是对于普通消费者来说可能仍然较贵。”李博杰称，从长期来看，实用性强的智能助理因其解决现实问题的能力而具有更高的价值。而短期内，情感陪伴和娱乐功能的智能助理更容易商业化，因为它们对可靠性的要求较低，开发和部署相对容易。 ... PC版： 手机版：

Google全新大模型突然发布：百万上下文 仅靠提示学会新语言

Google全新大模型突然发布：百万上下文 仅靠提示学会新语言 现在仅仅中杯1.5 Pro版就能越级打平上一代大杯1.0 Ultra版，更是在27项测试中超越平级的1.0 Pro。支持100万token上下文窗口，迄今为止大模型中最长，直接甩开对手一个量级。这还只是对外发布的版本，Google更是透露了内部研究版本已经能直冲1000万。现在Gemini能处理的内容，可换算成超过70万单词，或1小时视频、11小时音频、超过3万行代码。没错，这些数据模态Gemini 1.5都已经内建支持。从今天起，开发者和客户就可以在Vertex API或AI Studio申请试用。刚刚收到消息还在震惊中的网友们 be like：还有人直接@了OpenAI的奥特曼，这你们不跟进一波？上下文理解能力拉满目前Google已放出三个不同任务的演示视频，只能说Gemini 1.5是个抽象派（doge）。在第一段演示视频中，展示的是Gemini 1.5处理长视频的能力。使用的视频是巴斯特·基顿（Buster Keaton）的44分钟电影，共696161 token。演示中直接上传了电影，并给了模型这样的提示词：找到从人的口袋中取出一张纸的那一刻，并告诉我一些关于它的关键信息以及时间码。随后，模型立刻处理，输入框旁边带有一个“计时器”实时记录所耗时间：不到一分钟，模型做出了回应，指出12:01的时候有个人从兜里掏出了一张纸，内容是高盛典当经纪公司的一张当票，并且还给出了当票上的时间、成本等详细信息。随后经查证，确认模型给出的12:01这个时间点准确无误：除了纯文字prompt，还有更多玩法。直接给模型一张抽象“场景图”，询问“发生这种情况时的时间码是多少？”。同样不到一分钟，模型准确给出了的电影对应的时间点15:34。在第二段演示视频中，Google展示了Gemini 1.5分析和理解复杂代码库的能力。用到的是Three.js，这是一个3D Javascript库，包含约100000行代码、示例、文档等。演示中他们将所有内容放到了一个txt文件中，共816767 token，输入给模型并要求它“找到三个示例来学习角色动画”。结果模型查看了数百个示例后筛选出了三个关于混合骨骼动画、姿势、面部动画的示例。这只是开胃小菜。接下来只用文字询问模型“动画Little Tokyo的demo是由什么控制？”模型不仅找到了这个demo，并且解释了动画嵌入在gLTF模型中。并且还能实现“定制代码”。让模型“给一些代码，添加一个滑块来控制动画的速度。使用其它演示所具有的那种GUI”。Gemini 1.5分分钟给出了可以成功运行的代码，动画右上角出现了一个可控速的滑块：当然也可以做“代码定位”。仅靠一张demo的图片，Gemini 1.5就能在代码库中从数百个demo中，找到该图对应动画的代码：还能修改代码，让地形变得平坦，并解释其中的工作原理：修改代码这一块，对文本几何体的修改也不在话下：第三个演示视频展示的是Gemini 1.5的文档处理能力。选用的是阿波罗11号登月任务的402页PDF记录，共326658 token。要求Gemini 1.5“找到三个搞笑时刻，并列出文字记录以及表情符号引述”：30秒，模型给出了回应，其一是迈克尔·柯林斯的这句话“我敢打赌你一定要喝一杯咖啡”，经查询文档中的确有记录：更抽象一点，绘制一个靴子的图片，询问模型“这是什么时刻”。模型正确地将其识别为这是Neil在月球上的第一步：最后同样可以询问模型快速定位这一时刻在文档中对应的时间位置：差不多的抽象风同样适用于1382页、732000 token的《悲惨世界》，一张图定位小说位置。仅从提示词中学会一门新语言对于Gemini 1.5的技术细节，Google遵循了OpenAI开的好头，只发布技术报告而非论文。其中透露Gemini 1.5使用了MoE架构，但没有更多细节。与上代1.0 Pro相比，1.5 Pro在数学、科学、推理、多语言、视频理解上进步最大，并达到1.0 Ultra层次。为验证长上下文窗口的性能，使用了开源社区通行的大海捞针测试，也就是在长文本中准确找到可以藏起来的一处关键事实。结果50万token之前的表现非常完美，一直到千万token，Gemini 1.5也只失误了5次。此外还将测试扩展到多模态版本，如在视频画面的某一帧中藏一句话，给的例子是在阿尔法狗的纪录片中藏了“The secret word is ‘needle’”字样。结果在视频、音频测试中都实现了100%的召回率。特别是音频中，对比GPT-4+Whisper的结果，差距非常明显。此外GoogleDeepMind团队还测试了一项高难任务，仅通过长提示词让模型学会全新的技能。输入一整本语法书，Gemini 1.5 Pro就能在翻译全球不到200人使用的Kalamang上达到人类水平。相比之下，GPT-4 Turbo和Claude 2.1一次只能看完半本书，想获得这个技能就必须要微调或者使用外部工具了。也难怪有网友看过后惊呼，“哥们这是要把RAG玩死啊”。One More ThingGoogle还公布了一波已在业务中采用Gemini大模型的客户。其中有三星手机这样的大厂，也有像Jasper这种靠GPT起家的创业公司，甚至OpenAI董事Adam D‘Angelo旗下的Quora。与OpenAI形成了直接竞争关系。对此，一位网友道出了大家的心声：真希望这能促使OpenAI发布他们的下一代大模型。参考链接：[1]... PC版： 手机版：

实测发现Gemini的数据分析能力并不像Google声称的那么好

实测发现Gemini的数据分析能力并不像Google声称的那么好 但新的研究表明，这些模型实际上并不擅长这些事情。两项不同的研究调查了Google的Gemini模型和其他模型如何从海量数据中获得意义想想"战争与和平"长度的作品。这两项研究都发现，Gemini 1.5 Pro 和 1.5 Flash 很难正确回答有关大型数据集的问题；在一系列基于文档的测试中，这些模型只有 40% 50% 的时间给出了正确答案。"虽然像 Gemini 1.5 Pro 这样的模型在技术上可以处理较长的上下文，但我们看到很多案例表明，这些模型实际上并不能'理解'内容，"马萨诸塞大学阿默斯特分校博士后、其中一项研究的合著者 Marzena Karpinska 说。Gemini缺少上下文窗口模型的上下文或上下文窗口指的是模型在生成输出（如附加文本）之前考虑的输入数据（如文本）。一个简单的问题"谁赢得了 2020 年美国总统大选？- 可以作为上下文，电影剧本、节目或音频片段也是如此。随着上下文窗口的增加，可容纳文件的大小也会随之增加。Gemini 的最新版本可以接收多达 200 万个标记作为上下文。(标记"是原始数据的细分位，如"梦幻"一词中的音节"fan"、"tas"和"tic"）。这相当于大约 140 万个单词、2 个小时的视频或 22 个小时的音频这是所有商用模型中最大的语境。在今年早些时候的一次简报会上，Google展示了几个预先录制的演示，旨在说明Gemini长语境功能的潜力。其中一个演示让Gemini 1.5 Pro 搜索阿波罗 11 号登月电视直播的记录（约 402 页），查找包含笑话的引语，然后在电视直播中找到与铅笔素描相似的场景。Google DeepMind 研究副总裁 Oriol Vinyals 主持了这次简报会，他用"神奇"来形容这个模型。他说："[1.5 Pro]可以在每一页、每一个单词上执行此类推理任务。"但这可能有点夸张。在上述对这些能力进行基准测试的一项研究中，卡平斯卡与来自艾伦人工智能研究所和普林斯顿大学的研究人员一起，要求模型评估有关英文小说的真/假语句。研究人员选择了近期的作品，这样模型就无法依靠预知来"作弊"，而且他们还在语句中加入了具体细节和情节点，如果不阅读整本书，是无法理解这些细节和情节点的。Gemini 1.5 Pro 和 1.5 Flash 在阅读了相关书籍后，必须说出这句话的真假并说明理由。图片来源：UMass Amherst马萨诸塞大学阿默斯特分校研究人员对一本长度约为 26 万字（约 520 页）的书进行了测试，发现 1.5 Pro 在 46.7% 的时间内正确回答了真/假语句，而 Flash 仅在 20% 的时间内正确回答了真/假语句。这意味着硬币在回答有关这本书的问题时明显优于Google最新的机器学习模型。综合所有基准测试结果，两个模型的答题准确率都没有超过随机概率。卡平斯卡说："我们注意到，与那些通过检索句子层面的证据就能解决的问题相比，模型在验证那些需要考虑书中较大部分甚至整本书内容的主张时会遇到更多困难。从质量上讲，我们还观察到，模型在验证有关隐含信息的主张时也很吃力，这些隐含信息对人类读者来说是明确的，但在文本中并没有明确说明。"两项研究中的第二项由加州大学圣巴巴拉分校的研究人员共同完成，测试了 Gemini 1.5 Flash（而非 1.5 Pro）"推理"视频的能力，即搜索并回答有关视频内容的问题。合著者创建了一个图像数据集（例如，一张生日蛋糕的照片），并配以问题让模型回答图像中描述的对象（例如，"这个蛋糕上有什么卡通人物？）为了对模型进行评估，他们随机挑选了其中一张图片，并在其前后插入"干扰"图片，以创建类似幻灯片的片段。Flash 的表现并不尽如人意。在一项让模型从 25 张图片的"幻灯片"中转录 6 位手写数字的测试中，Flash 的转录正确率约为 50%。八位数字的准确率下降到 30%。"在实际的图像问题解答任务中，我们测试的所有模型似乎都特别困难，"加州大学圣塔芭芭拉分校的博士生、该研究的共同作者之一迈克尔-萨克森（Michael Saxon）表示，"少量的推理识别出一个数字在一个框架中并读取它可能就是让模型失效的原因"。这两项研究都没有经过同行评议，也没有对 Gemini 1.5 Pro 和 1.5 Flash 的 200 万标记上下文版本进行测试（这两项研究都对 100 万标记上下文版本进行了测试）。(这两个版本都测试了 100 万标记上下文的版本）而且，Flash 在性能方面并不像 Pro 那样强大；Google 将其宣传为低成本的替代品。尽管如此，这两件事还是让人们更加确信，Google从一开始就对Gemini的承诺过高，而实际效果却不尽如人意。研究人员测试的所有模型，包括 OpenAI 的GPT-4o和 Anthropic 的Claude 3.5 Sonnet，都表现不佳。但Google是唯一一家在广告中将语境窗口放在首位的模型提供商。萨克森说："根据客观的技术细节，简单地宣称'我们的模型可以接受 X 个词元'并没有错。但问题是，你能用它做什么有用的事情？"随着企业（和投资者）对生成式人工智能技术的局限性感到失望，这种技术正受到越来越多的关注。在波士顿咨询公司（Boston Consulting Group）最近进行的两项调查中，约有一半的受访者（均为 C-suite 高管）表示，他们并不指望人工智能生成技术能带来实质性的生产力提升，而且他们担心人工智能生成工具可能会导致错误和数据泄露。PitchBook 最近报告称，连续两个季度，生成式人工智能最早阶段的交易量出现下滑，从 2023 年第三季度的峰值骤降 76%。面对可以总结会议内容、虚构人物细节的聊天机器人，以及基本上等同于剽窃生成器的人工智能搜索平台，客户们正在寻找有前途的差异化产品。Google一直在追赶其人工智能生成器竞争对手，有时甚至是笨拙地追赶，它急切地想让Gemini的语境成为这些差异化因素之一。但现在看来，这个赌注还为时过早。卡平斯卡说："我们还没有找到一种方法来真正证明对长文档的'推理'或'理解'正在发生，而且基本上每个发布这些模型的小组都在拼凑他们自己的临时验证来做出这些宣称。在不了解长上下文处理是如何实现的情况下而公司并不分享这些细节很难说这些说法有多现实。"Google没有回应置评请求。萨克森和卡平斯卡都认为，要消除生成式人工智能的夸大宣传，就必须制定更好的基准，同时更加重视第三方的批评意见。萨克森指出，Google在其营销材料中大量引用的"大海捞针"（need in the haystack）是一种更常见的长语境测试方法，它只能衡量模型从数据集中检索特定信息（如姓名和数字）的能力，而不能回答有关这些信息的复杂问题。"所有科学家和大多数使用这些模型的工程师基本上都认为，我们现有的基准文化已经崩溃，"萨克森说，"因此，重要的是公众要明白，对这些包含'跨基准的通用智能'等数字的巨型报告，要慎重对待。" ... PC版： 手机版：