ℹGoogle 发布新一代语言模型 Gemini 1.5 ，可支援 100 万 token 上下文理解能力#

ℹGoogle 发布新一代语言模型 Gemini 1.5 ，可支援 100 万 token 上下文理解能力# Google 推出 Gemini 1.0 后一直在测试、完善和增强 Gemini 的能力，也终于在 2 月 15 日宣布推出新一代的 Ge...

谷歌推出下一代 AI 模型 Gemini1.5

谷歌推出下一代 AI 模型 Gemini1.5 谷歌 CEO 皮查伊表示，我们已经准备好推出下一代 AI 模型 Gemini 1.5。它在许多方面都有显著的改进，1.5 Pro 达到了与 1.0 Ultra 相当的质量，同时使用了更少的计算。新一代模型在长上下文理解方面也取得了突破。从今天开始，开发人员和企业客户可以注册有限的私人预览版。 、

Google全新大模型突然发布：百万上下文 仅靠提示学会新语言

Google全新大模型突然发布：百万上下文 仅靠提示学会新语言 现在仅仅中杯1.5 Pro版就能越级打平上一代大杯1.0 Ultra版，更是在27项测试中超越平级的1.0 Pro。支持100万token上下文窗口，迄今为止大模型中最长，直接甩开对手一个量级。这还只是对外发布的版本，Google更是透露了内部研究版本已经能直冲1000万。现在Gemini能处理的内容，可换算成超过70万单词，或1小时视频、11小时音频、超过3万行代码。没错，这些数据模态Gemini 1.5都已经内建支持。从今天起，开发者和客户就可以在Vertex API或AI Studio申请试用。刚刚收到消息还在震惊中的网友们 be like：还有人直接@了OpenAI的奥特曼，这你们不跟进一波？上下文理解能力拉满目前Google已放出三个不同任务的演示视频，只能说Gemini 1.5是个抽象派（doge）。在第一段演示视频中，展示的是Gemini 1.5处理长视频的能力。使用的视频是巴斯特·基顿（Buster Keaton）的44分钟电影，共696161 token。演示中直接上传了电影，并给了模型这样的提示词：找到从人的口袋中取出一张纸的那一刻，并告诉我一些关于它的关键信息以及时间码。随后，模型立刻处理，输入框旁边带有一个“计时器”实时记录所耗时间：不到一分钟，模型做出了回应，指出12:01的时候有个人从兜里掏出了一张纸，内容是高盛典当经纪公司的一张当票，并且还给出了当票上的时间、成本等详细信息。随后经查证，确认模型给出的12:01这个时间点准确无误：除了纯文字prompt，还有更多玩法。直接给模型一张抽象“场景图”，询问“发生这种情况时的时间码是多少？”。同样不到一分钟，模型准确给出了的电影对应的时间点15:34。在第二段演示视频中，Google展示了Gemini 1.5分析和理解复杂代码库的能力。用到的是Three.js，这是一个3D Javascript库，包含约100000行代码、示例、文档等。演示中他们将所有内容放到了一个txt文件中，共816767 token，输入给模型并要求它“找到三个示例来学习角色动画”。结果模型查看了数百个示例后筛选出了三个关于混合骨骼动画、姿势、面部动画的示例。这只是开胃小菜。接下来只用文字询问模型“动画Little Tokyo的demo是由什么控制？”模型不仅找到了这个demo，并且解释了动画嵌入在gLTF模型中。并且还能实现“定制代码”。让模型“给一些代码，添加一个滑块来控制动画的速度。使用其它演示所具有的那种GUI”。Gemini 1.5分分钟给出了可以成功运行的代码，动画右上角出现了一个可控速的滑块：当然也可以做“代码定位”。仅靠一张demo的图片，Gemini 1.5就能在代码库中从数百个demo中，找到该图对应动画的代码：还能修改代码，让地形变得平坦，并解释其中的工作原理：修改代码这一块，对文本几何体的修改也不在话下：第三个演示视频展示的是Gemini 1.5的文档处理能力。选用的是阿波罗11号登月任务的402页PDF记录，共326658 token。要求Gemini 1.5“找到三个搞笑时刻，并列出文字记录以及表情符号引述”：30秒，模型给出了回应，其一是迈克尔·柯林斯的这句话“我敢打赌你一定要喝一杯咖啡”，经查询文档中的确有记录：更抽象一点，绘制一个靴子的图片，询问模型“这是什么时刻”。模型正确地将其识别为这是Neil在月球上的第一步：最后同样可以询问模型快速定位这一时刻在文档中对应的时间位置：差不多的抽象风同样适用于1382页、732000 token的《悲惨世界》，一张图定位小说位置。仅从提示词中学会一门新语言对于Gemini 1.5的技术细节，Google遵循了OpenAI开的好头，只发布技术报告而非论文。其中透露Gemini 1.5使用了MoE架构，但没有更多细节。与上代1.0 Pro相比，1.5 Pro在数学、科学、推理、多语言、视频理解上进步最大，并达到1.0 Ultra层次。为验证长上下文窗口的性能，使用了开源社区通行的大海捞针测试，也就是在长文本中准确找到可以藏起来的一处关键事实。结果50万token之前的表现非常完美，一直到千万token，Gemini 1.5也只失误了5次。此外还将测试扩展到多模态版本，如在视频画面的某一帧中藏一句话，给的例子是在阿尔法狗的纪录片中藏了“The secret word is ‘needle’”字样。结果在视频、音频测试中都实现了100%的召回率。特别是音频中，对比GPT-4+Whisper的结果，差距非常明显。此外GoogleDeepMind团队还测试了一项高难任务，仅通过长提示词让模型学会全新的技能。输入一整本语法书，Gemini 1.5 Pro就能在翻译全球不到200人使用的Kalamang上达到人类水平。相比之下，GPT-4 Turbo和Claude 2.1一次只能看完半本书，想获得这个技能就必须要微调或者使用外部工具了。也难怪有网友看过后惊呼，“哥们这是要把RAG玩死啊”。One More ThingGoogle还公布了一波已在业务中采用Gemini大模型的客户。其中有三星手机这样的大厂，也有像Jasper这种靠GPT起家的创业公司，甚至OpenAI董事Adam D‘Angelo旗下的Quora。与OpenAI形成了直接竞争关系。对此，一位网友道出了大家的心声：真希望这能促使OpenAI发布他们的下一代大模型。参考链接：[1]... PC版： 手机版：

Google的下一代人工智能模型Gemini 1.5已基本准备就绪

Google的下一代人工智能模型Gemini 1.5已基本准备就绪 Gemini 1.5 有很多改进：Gemini 1.5 Pro（Google系统中的通用模型）与该公司最近才推出的高端 Gemini Ultra 能力不相上下，而且在 87% 的基准测试中，它都优于 Gemini 1.0 Pro。它采用了一种越来越常见的技术，即"专家混合"（MoE），这意味着当你发送查询时，它只运行整个模型的一部分，而不是一直处理整个模型。这种方法能让用户更快地使用模型，也能让 Google 更高效地运行模型。但是，Gemini 1.5 中的一个新功能让整个公司都特别兴奋：Gemini 1.5 有一个巨大的上下文窗口，这意味着它可以处理更大的查询，一次查看更多的信息。这个窗口高达 100 万个tokens，而 OpenAI 的 GPT-4 为 12.8 万个，目前的 Gemini Pro 为 3.2 万个。"这大约相当于是 10 或 11 个小时的视频，数万行代码"。上下文窗口意味着可以一次性向人工智能机器人询问所有内容。Google CEO皮查伊还表示，研究人员正在测试一个 1000 tokens的上下文窗口这就好比是将《权力的游戏》的整个系列同时播出，或者把整个《指环王》三部曲都放进这个上下文窗口中。这允许在查询时添加大量个人上下文和信息，就像我们极大地扩展了查询窗口一样。目前，Gemini 1.5 只能通过Google的顶点人工智能（Vertex AI）和人工智能工作室（AI Studio）提供给企业用户和开发人员。最终，它将取代Gemini 1.0，而Gemini专业版的标准版本每个人都可以在gemini.google.com和公司的App中使用的版本将是 1.5 专业版，拥有128000 个tokens的上下文窗口，而需要支付额外的费用才能获得百万级的权限。Google还在测试该模式的安全性和道德底线，尤其是新增加的上下文窗口。当全球企业都在试图制定自己的人工智能战略以及是与 OpenAI、Google还是其他公司签署开发者协议时，Google正在为打造最好的人工智能工具而展开一场激烈的竞赛。就在本周，OpenAI 公布了ChatGPT的"记忆能力"，同时似乎准备进军网络搜索领域。到目前为止，Gemini 似乎给人留下了深刻印象，尤其是对于那些已经进入Google生态系统的人来说，但各方都还有很多工作要做。最终，所有这些 1.0、1.5、Pro、Ultras 和企业之争对用户来说并不重要。人们将只需要感受AI，这就像使用智能手机，而不必总是关注手机里面的处理器是怎么工作的。 ... PC版： 手机版：

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K，是目前全球最长的上下文窗口，能够一次处理约35万

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K，是目前全球最长的上下文窗口，能够一次处理约35万个汉字。 官方宣称：Baichuan2-192K不仅在上下文窗口长度上超越Claude2，在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。 10项长文本评测7项取得SOTA，全面领先Claude2 Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异，有7项取得SOTA，显著超过其他长窗口模型。 此外，LongEval的评测结果显示，在窗口长度超过100K后Baichuan2-192K依然能够保持非常强劲的性能，而其他开源或者商用模型在窗口长度增长后效果都出现了近乎直线下降的情况。Claude2也不例外，在窗口长度超过80K后整体效果下降非常严重。 Baichuan2-192K正式开启内测，已落地法律、媒体等诸多真实场景 Baichuan2-192K现已正式开启内测，以API调用的方式开放给百川智能的核心合作伙伴，已经与财经类媒体及律师事务所等机构达成了合作，将Baichuan2-192K全球领先的长上下文能力应用到了传媒、金融、法律等具体场景当中，不久后将全面开放。

Gemini 数据分析能力并不像宣称的那么好

Gemini 数据分析能力并不像宣称的那么好 谷歌 AI 模型 Gemini 1.5 Pro 和 1.5 Flash 据称能够凭借其“长上下文”完成以前不可能完成的任务，例如总结数百页的文档或搜索电影镜头中的场景。但新的研究表明，这些模型实际上在这些方面并不是很擅长。两项独立研究调查了 Gemini 模型和其他模型如何很好地理解大量数据。两项研究都发现 Gemini 1.5 Pro 和 1.5 Flash 很难正确回答有关大型数据集的问题；在一系列基于文档测试中，这些模型给出正确答案的概率只有40%到50%。 马萨诸塞大学阿默斯特分校博士后、其中一项研究的合著者 Marzena Karpinska 说：“虽然像 Gemini 1.5 Pro 这样的模型在技术上可以处理长篇上下文，但我们已经看到许多案例表明，这些模型实际上并不‘理解’内容。”