Google全新大模型突然发布：百万上下文 仅靠提示学会新语言

Google全新大模型突然发布：百万上下文 仅靠提示学会新语言 现在仅仅中杯1.5 Pro版就能越级打平上一代大杯1.0 Ultra版，更是在27项测试中超越平级的1.0 Pro。支持100万token上下文窗口，迄今为止大模型中最长，直接甩开对手一个量级。这还只是对外发布的版本，Google更是透露了内部研究版本已经能直冲1000万。现在Gemini能处理的内容，可换算成超过70万单词，或1小时视频、11小时音频、超过3万行代码。没错，这些数据模态Gemini 1.5都已经内建支持。从今天起，开发者和客户就可以在Vertex API或AI Studio申请试用。刚刚收到消息还在震惊中的网友们 be like：还有人直接@了OpenAI的奥特曼，这你们不跟进一波？上下文理解能力拉满目前Google已放出三个不同任务的演示视频，只能说Gemini 1.5是个抽象派（doge）。在第一段演示视频中，展示的是Gemini 1.5处理长视频的能力。使用的视频是巴斯特·基顿（Buster Keaton）的44分钟电影，共696161 token。演示中直接上传了电影，并给了模型这样的提示词：找到从人的口袋中取出一张纸的那一刻，并告诉我一些关于它的关键信息以及时间码。随后，模型立刻处理，输入框旁边带有一个“计时器”实时记录所耗时间：不到一分钟，模型做出了回应，指出12:01的时候有个人从兜里掏出了一张纸，内容是高盛典当经纪公司的一张当票，并且还给出了当票上的时间、成本等详细信息。随后经查证，确认模型给出的12:01这个时间点准确无误：除了纯文字prompt，还有更多玩法。直接给模型一张抽象“场景图”，询问“发生这种情况时的时间码是多少？”。同样不到一分钟，模型准确给出了的电影对应的时间点15:34。在第二段演示视频中，Google展示了Gemini 1.5分析和理解复杂代码库的能力。用到的是Three.js，这是一个3D Javascript库，包含约100000行代码、示例、文档等。演示中他们将所有内容放到了一个txt文件中，共816767 token，输入给模型并要求它“找到三个示例来学习角色动画”。结果模型查看了数百个示例后筛选出了三个关于混合骨骼动画、姿势、面部动画的示例。这只是开胃小菜。接下来只用文字询问模型“动画Little Tokyo的demo是由什么控制？”模型不仅找到了这个demo，并且解释了动画嵌入在gLTF模型中。并且还能实现“定制代码”。让模型“给一些代码，添加一个滑块来控制动画的速度。使用其它演示所具有的那种GUI”。Gemini 1.5分分钟给出了可以成功运行的代码，动画右上角出现了一个可控速的滑块：当然也可以做“代码定位”。仅靠一张demo的图片，Gemini 1.5就能在代码库中从数百个demo中，找到该图对应动画的代码：还能修改代码，让地形变得平坦，并解释其中的工作原理：修改代码这一块，对文本几何体的修改也不在话下：第三个演示视频展示的是Gemini 1.5的文档处理能力。选用的是阿波罗11号登月任务的402页PDF记录，共326658 token。要求Gemini 1.5“找到三个搞笑时刻，并列出文字记录以及表情符号引述”：30秒，模型给出了回应，其一是迈克尔·柯林斯的这句话“我敢打赌你一定要喝一杯咖啡”，经查询文档中的确有记录：更抽象一点，绘制一个靴子的图片，询问模型“这是什么时刻”。模型正确地将其识别为这是Neil在月球上的第一步：最后同样可以询问模型快速定位这一时刻在文档中对应的时间位置：差不多的抽象风同样适用于1382页、732000 token的《悲惨世界》，一张图定位小说位置。仅从提示词中学会一门新语言对于Gemini 1.5的技术细节，Google遵循了OpenAI开的好头，只发布技术报告而非论文。其中透露Gemini 1.5使用了MoE架构，但没有更多细节。与上代1.0 Pro相比，1.5 Pro在数学、科学、推理、多语言、视频理解上进步最大，并达到1.0 Ultra层次。为验证长上下文窗口的性能，使用了开源社区通行的大海捞针测试，也就是在长文本中准确找到可以藏起来的一处关键事实。结果50万token之前的表现非常完美，一直到千万token，Gemini 1.5也只失误了5次。此外还将测试扩展到多模态版本，如在视频画面的某一帧中藏一句话，给的例子是在阿尔法狗的纪录片中藏了“The secret word is ‘needle’”字样。结果在视频、音频测试中都实现了100%的召回率。特别是音频中，对比GPT-4+Whisper的结果，差距非常明显。此外GoogleDeepMind团队还测试了一项高难任务，仅通过长提示词让模型学会全新的技能。输入一整本语法书，Gemini 1.5 Pro就能在翻译全球不到200人使用的Kalamang上达到人类水平。相比之下，GPT-4 Turbo和Claude 2.1一次只能看完半本书，想获得这个技能就必须要微调或者使用外部工具了。也难怪有网友看过后惊呼，“哥们这是要把RAG玩死啊”。One More ThingGoogle还公布了一波已在业务中采用Gemini大模型的客户。其中有三星手机这样的大厂，也有像Jasper这种靠GPT起家的创业公司，甚至OpenAI董事Adam D‘Angelo旗下的Quora。与OpenAI形成了直接竞争关系。对此，一位网友道出了大家的心声：真希望这能促使OpenAI发布他们的下一代大模型。参考链接：[1]... PC版： 手机版：

相关推荐

封面图片

谷歌发布了Gemini 1.5模型，最主要的升级是支持了高达 100 万的上下文长度，秒杀了所有模型。

谷歌发布了Gemini 1.5模型，最主要的升级是支持了高达 100 万的上下文长度，秒杀了所有模型。 Gemini 1.5基于Transformer和MoE架构的研究和工程创新，提高了训练和服务的效率。 Gemini 1.5 Pro是一个中等规模的多模态模型，适用于多种任务，并引入了在长上下文理解方面的实验性特性。 它标准的上下文窗口为128,000个Token，但现在已经可以通过AI Studio和Vertex AI向开发者和企业客户提供高达100万个Token的私人预览。 1.5 Pro 可以一次处理大量信息包括 1 小时的视频、11 小时的音频、包含超过 30,000 行代码的代码库或超过 700,000 个单词。 Gemini 1.5 Pro在文本、代码、图像、音频和视频评估的综合面板上的性能超过了Gemini 1.0 Pro，并且与1.0 Ultra在同样的基准测试上表现相当。 此外，Gemini 1.5 Pro在进行长上下文窗口的测试中表现出色，在NIAH评估中，它在长达100万个Token的数据块中99%的时间内找到了嵌入的文本。 了解更多：#context-window
封面图片

ℹGoogle 发布新一代语言模型 Gemini 1.5 ，可支援 100 万 token 上下文理解能力#

ℹGoogle 发布新一代语言模型 Gemini 1.5 ，可支援 100 万 token 上下文理解能力# Google 推出 Gemini 1.0 后一直在测试、完善和增强 Gemini 的能力，也终于在 2 月 15 日宣布推出新一代的 Ge...
封面图片

GPT-4劲敌 Google进入高能+高产模式

GPT-4劲敌 Google进入高能+高产模式 一、极致性能背后的模型架构图源：X平台Alphabet与Google公司首席科学家Jeff Dean推文“巧合”的是，Open AI在Gemini 1.5 Pro官宣两小时发布Sora这枚重磅炸弹，颇有“一较高下”的劲头。只是由于当下大家的视线焦点集中在视频领域，Sora 又是 OpenAI 首次发布文生视频模型，所以无奈被抢了头条。图源：微博评论Gemini 1.5 Pro建立在谷歌对Transformer和MoE架构的领先研究之上。传统Transformer充当一个大型神经网络，而 MoE（Mixture of Experts 混合专家模型）模型则分为更小的“专家”神经网络。在这一结构之下，通过将模型参数划分为多个组别而实现的计算的稀疏化，即每次执行推理任务时，根据对输入类型的判断，MoE模型会通过门控网络选择性地激活神经网络中最契合指令的专家参与计算。这种专业化、模块化的划分可以在提升预训练计算效率的同时提升大模型处理复杂任务的性能，更快地学习复杂任务的同时保证准确性。与稠密模型相比，MoE模型的预训练速度更快；使用MoE 层代替transformer 中的前馈网络（FFN）层。因而对的采用可以弥补Transformer架构运算效率的问题。在Switch-Transformer、M4等领域，Google 一直是深度学习 MoE 技术的早期采用者。目前大部分大语言模型开源和学术工作都没有使用 MoE 架构。有消息称，GPT-4也采用了由 8 个专家模型组成的集成系统。2023年12月8日Mistral AI 发布的 Mixtral 8x7B 同样采用了这种架构。就国内的大模型而言，只有Minimax采用了MoE架构。二、扩容的上下文窗口意味着什么？虽然Gemini 1.5 Pro是 Gemini 1.5 系列的初代版本，但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini 1.5 Pro的一大亮点。多模态大模型卷到今日，上下文窗口容量已然成为提升其理解能力的关键掣肘。此前的SOTA模型将上下文窗口容量卷到了20万token。而谷歌的Gemini 1.5 Pro直接将上下文窗口容量提到了100万token（极限为1000万token），远远超出了 Gemini 1.0 最初的 32,000 个 token，创下了最长上下文窗口的纪录。对于文本处理，Gemini 1.5 Pro在处理高达530,000 token的文本时，能够实现100%的检索完整性，在处理1,000,000 token的文本时达到99.7%的检索完整性。甚至在处理高达10,000,000 token的文本时，检索准确性仍然高达99.2%。在音频处理方面，Gemini 1.5 Pro能够在大约11小时的音频资料中，100%成功检索到各种隐藏的音频片段。在视频处理方面，Gemini 1.5 Pro能够在大约3小时的视频内容中，100%成功检索到各种隐藏的视觉元素。图源：Gemini 1.5 Pro官方测试数据Gemini 1.5 Pro大大超过Gemini 1.0 Pro，在27项基准（共31项）上表现更好，特别是在数学、科学和推理（+28.9%），多语言（+22.3%），视频理解（+11.2%）和代码（+8.9%）等领域。即使是对比Gemini 系列的高端产品Gemini 1.0 Ultra， Gemini 1.5 Pro也在超过一半的基准（16/31）上表现更好，特别是在文本基准（10/13）和许多视觉基准（6/13）上。在 NIAH测试中，Gemini 1.5 Pro能够在长达100万token的文本块中，以99%的准确率找出隐藏有特定信息的文本片段。图源：Gemini 1.5 Pro官方测试数据这个上下文长度使Gemini 1.5 Pro可以自如地处理22小时的录音、超过十倍的完整的1440页的书（587,287字）“战争与和平”，以及四万多行代码、三小时的视频。三、机器脑有多好使除高效架构和强上下文处理能力之外，Gemini 1.5 Pro的优秀品质还在于“情境学习”技能，它可以根据长提示，从以前从未见过的信息中学习新技能，而不需要额外的微调。强学习能力、信息检索与数据分析能力使得在知识海洋中“海底捞针”由想象映照进了现实。根据官方发布的测试报告，当给定卡拉曼语（一种全球使用人数不足 200 人的语言）的语法手册时（500页的语言文献，一本词典和400个平行句子），Gemini 1.5 Pro模型可以学习将英语翻译成卡拉曼语，其水平与学习相同内容的人相似。图源：Gemini 1.5 Pro官方演示样本当被一个45分钟的Buster基顿电影“小神探夏洛克”（1924年）（2674帧，1FPS，684k token）提示时，Gemini 1.5 Pro可以从其中的特定帧中检索和提取文本信息，并提供相应的时间戳。此外还可以从一张手绘素描中识别电影中的一个场景。与侧重于衡量模型检索能力的特定事实或细节的任务不同，这些问题通常需要了解跨越大量文本的信息片段之间的关系。图源：Gemini 1.5 Pro官方演示样本Gemini 1.5 Pro在处理长达超过100,000行的代码时，还具备极强的问题解决能力。面对庞大的代码量，它能够深入分析各个示例，提出实用的修改建议，还能详细解释代码的条例框架。给出了整个746,152个令牌JAX代码库，Gemini 1.5 Pro可以识别核心自动微分方法的具体位置。开发者可以直接上传新的代码库，利用这个模型快速熟悉、理解代码结构。图源：Gemini 1.5 Pro官方演示样本正如NVIDIA高级科学家Jim Fan所言，Gemini 1.5 Pro意味着LLM能力的大幅跃升，这对于做个体户的小公司而言可谓一骑绝尘。在人机协同的探索过程中，单一的文本交互很难满足多场景多样态的内容生产诉求。多模态的信息处理与生成能力显然是技术变革的发力点。纽约大学计算机助理教授谢赛宁说，人才第一，数据第二，算力第三，其他都没有什么是不可替代的。Gemini 1.5 Pro是谷歌与巅峰对决的又一利器，或许AGI时代正加快到来。 ... PC版： 手机版：
封面图片

Google发布Gemini 1.5 Flash人工智能模型 比Gemini Pro更轻便与易于使用

Google发布Gemini 1.5 Flash人工智能模型 比Gemini Pro更轻便与易于使用 Google DeepMind 首席执行官德米斯-哈萨比斯（Demis Hassabis）在一篇博客文章中写道："[Gemini] 1.5 Flash 擅长摘要、聊天应用、图像和视频字幕、从长文档和表格中提取数据等。"Google之所以创建Gemini 1.5 Flash，是因为开发人员需要一个比Google今年2月发布的专业版更轻便、更便宜的型号。Gemini 1.5 Pro 比该公司去年底发布的 Gemini 原型更高效、更强大。Gemini 1.5 Flash 介于 Gemini 1.5 Pro 和 Gemini 1.5 Nano 之间，是Google在本地设备上运行的最小型号。尽管重量比 Gemini Pro 轻，但功能却同样强大。Google表示，这是通过一个名为"蒸馏"的过程实现的，即把 Gemini 1.5 Pro 中最基本的知识和技能转移到更小的型号上。这意味着，Gemini 1.5 Flash 将获得与 Pro 相同的多模态功能，以及长语境窗口（人工智能模型可一次性摄取的数据量），即一百万个词元。根据Google的说法，这意味着 Gemini 1.5 Flash 将能够一次性分析 1500 页的文档或超过 30000 行的代码库。Gemini 1.5 Flash（或这些型号中的任何一款）并非真正面向消费者。相反，它是开发人员利用Google设计的技术构建自己的人工智能产品和服务的一种更快、更便宜的方式。除了推出 Gemini 1.5 Flash 之外，Google还对 Gemini 1.5 Pro 进行了升级。该公司表示，已经"增强"了该模型编写代码、推理和解析音频与图像的能力。但最大的更新还在后面Google宣布将在今年晚些时候把该模型现有的上下文窗口增加一倍，达到 200 万个词元。这将使它能够同时处理两小时的视频、22 小时的音频、6 万多行代码或 140 多万字。Gemini 1.5 Flash 和 Pro 现在都可以在Google的人工智能工作室和顶点人工智能中进行公开预览。该公司今天还发布了新版 Gemma 开放模型，名为 Gemma 2。不过，除非你是开发人员或喜欢捣鼓构建人工智能应用程序和服务的人，否则这些更新其实并不适合普通消费者。 ... PC版： 手机版：
封面图片

Google发布了Gemini 1.5 Pro模型的技术报告，报告介绍了Gemini 1.5 Pro的模型架构、训练数据与基础设

Google发布了Gemini 1.5 Pro模型的技术报告，报告介绍了Gemini 1.5 Pro的模型架构、训练数据与基础设施、长文本评测和通用能力评测。 其中一个例子是Gemini 1.5 Pro只需要一个生僻语种的语法手册就可以学会这个语言。 论文简介： Gemini 1.5 Pro：这是一个高效能的多模态混合专家模型（mu ...
封面图片

Meta 新语言模型能运行在单张显卡上

Meta 新语言模型能运行在单张显卡上 Meta 上周宣布了一个新的大语言模型 LLaMA-13B，称其参数规模更小但性能强于 OpenAI 的 GPT-3 模型，且它能运行在单张显卡上。 语言模型的规模在从 70 亿到 650 亿参数，而 OpenAI GPT-3 模型有 1750 亿个参数。Meta 使用 Common Crawl、维基百科和 C4 等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta 称 LLaMA 为其基础模型，它将是未来该公司更先进模型的基础。它的 LLaMA-13B 模型在 BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC 和 OpenBookQA 等标准测试中的表现超过了 GPT-3。GPT-3 等衍生模型需要数据中心规模的计算能力进行处理，而 LLaMA-13B 能运行在单张显卡上，为在消费者硬件上实现类似 ChatGPT 的性能打开了大门。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人