Gemini 1.5 Pro 已上线 Poe

Poe在X表示，Gemini1.5Pro已在Poe推出，Google的这个强大的新多模态模型引入了业界领先的100万个tokens（约70万个单词）的上下文窗口，具有近乎完美的检索能力，可实现需要长上下文理解的复杂任务。Gemini1.5Pro支持文本、图像和视频输入，并具有文本输出功能。它目前在Poe中提供三个版本：Gemini1.5Pro、128k、1M。此外，Poe还添加了原版GeminiPro的升级版。该机器人经过微调，具有更具对话性的个性，并在推理、数学、延迟、讲故事和总结等方面具有质量改进。via匿名标签:#Gemini#Poe#AI频道:@GodlyNews1投稿:@GodlyNewsBot

谷歌发布了Gemini 1.5模型，最主要的升级是支持了高达 100 万的上下文长度，秒杀了所有模型。#ai##llm#

谷歌发布了Gemini1.5模型，最主要的升级是支持了高达100万的上下文长度，秒杀了所有模型。Gemini1.5基于Transformer和MoE架构的研究和工程创新，提高了训练和服务的效率。Gemini1.5Pro是一个中等规模的多模态模型，适用于多种任务，并引入了在长上下文理解方面的实验性特性。它标准的上下文窗口为128,000个Token，但现在已经可以通过AIStudio和VertexAI向开发者和企业客户提供高达100万个Token的私人预览。1.5Pro可以一次处理大量信息——包括1小时的视频、11小时的音频、包含超过30,000行代码的代码库或超过700,000个单词。Gemini1.5Pro在文本、代码、图像、音频和视频评估的综合面板上的性能超过了Gemini1.0Pro，并且与1.0Ultra在同样的基准测试上表现相当。此外，Gemini1.5Pro在进行长上下文窗口的测试中表现出色，在NIAH评估中，它在长达100万个Token的数据块中99%的时间内找到了嵌入的文本。了解更多：#context-window

Google的下一代人工智能模型Gemini 1.5已基本准备就绪

Google的下一代人工智能模型Gemini1.5已基本准备就绪Gemini1.5有很多改进：Gemini1.5Pro（Google系统中的通用模型）与该公司最近才推出的高端GeminiUltra能力不相上下，而且在87%的基准测试中，它都优于Gemini1.0Pro。它采用了一种越来越常见的技术，即"专家混合"（MoE），这意味着当你发送查询时，它只运行整个模型的一部分，而不是一直处理整个模型。这种方法能让用户更快地使用模型，也能让Google更高效地运行模型。但是，Gemini1.5中的一个新功能让整个公司都特别兴奋：Gemini1.5有一个巨大的上下文窗口，这意味着它可以处理更大的查询，一次查看更多的信息。这个窗口高达100万个tokens，而OpenAI的GPT-4为12.8万个，目前的GeminiPro为3.2万个。"这大约相当于是10或11个小时的视频，数万行代码"。上下文窗口意味着可以一次性向人工智能机器人询问所有内容。GoogleCEO皮查伊还表示，研究人员正在测试一个1000tokens的上下文窗口--这就好比是将《权力的游戏》的整个系列同时播出，或者把整个《指环王》三部曲都放进这个上下文窗口中。这允许在查询时添加大量个人上下文和信息，就像我们极大地扩展了查询窗口一样。目前，Gemini1.5只能通过Google的顶点人工智能（VertexAI）和人工智能工作室（AIStudio）提供给企业用户和开发人员。最终，它将取代Gemini1.0，而Gemini专业版的标准版本--每个人都可以在gemini.google.com和公司的App中使用的版本将是1.5专业版，拥有128000个tokens的上下文窗口，而需要支付额外的费用才能获得百万级的权限。Google还在测试该模式的安全性和道德底线，尤其是新增加的上下文窗口。当全球企业都在试图制定自己的人工智能战略--以及是与OpenAI、Google还是其他公司签署开发者协议时，Google正在为打造最好的人工智能工具而展开一场激烈的竞赛。就在本周，OpenAI公布了ChatGPT的"记忆能力"，同时似乎准备进军网络搜索领域。到目前为止，Gemini似乎给人留下了深刻印象，尤其是对于那些已经进入Google生态系统的人来说，但各方都还有很多工作要做。最终，所有这些1.0、1.5、Pro、Ultras和企业之争对用户来说并不重要。人们将只需要感受AI，这就像使用智能手机，而不必总是关注手机里面的处理器是怎么工作的。...PC版：https://www.cnbeta.com.tw/articles/soft/1418373.htm手机版：https://m.cnbeta.com.tw/view/1418373.htm

Google发布Gemini 1.5 Flash人工智能模型 比Gemini Pro更轻便与易于使用

Google发布Gemini1.5Flash人工智能模型比GeminiPro更轻便与易于使用GoogleDeepMind首席执行官德米斯-哈萨比斯（DemisHassabis）在一篇博客文章中写道："[Gemini]1.5Flash擅长摘要、聊天应用、图像和视频字幕、从长文档和表格中提取数据等。"Google之所以创建Gemini1.5Flash，是因为开发人员需要一个比Google今年2月发布的专业版更轻便、更便宜的型号。Gemini1.5Pro比该公司去年底发布的Gemini原型更高效、更强大。Gemini1.5Flash介于Gemini1.5Pro和Gemini1.5Nano之间，是Google在本地设备上运行的最小型号。尽管重量比GeminiPro轻，但功能却同样强大。Google表示，这是通过一个名为"蒸馏"的过程实现的，即把Gemini1.5Pro中最基本的知识和技能转移到更小的型号上。这意味着，Gemini1.5Flash将获得与Pro相同的多模态功能，以及长语境窗口（人工智能模型可一次性摄取的数据量），即一百万个词元。根据Google的说法，这意味着Gemini1.5Flash将能够一次性分析1500页的文档或超过30000行的代码库。Gemini1.5Flash（或这些型号中的任何一款）并非真正面向消费者。相反，它是开发人员利用Google设计的技术构建自己的人工智能产品和服务的一种更快、更便宜的方式。除了推出Gemini1.5Flash之外，Google还对Gemini1.5Pro进行了升级。该公司表示，已经"增强"了该模型编写代码、推理和解析音频与图像的能力。但最大的更新还在后面--Google宣布将在今年晚些时候把该模型现有的上下文窗口增加一倍，达到200万个词元。这将使它能够同时处理两小时的视频、22小时的音频、6万多行代码或140多万字。Gemini1.5Flash和Pro现在都可以在Google的人工智能工作室和顶点人工智能中进行公开预览。该公司今天还发布了新版Gemma开放模型，名为Gemma2。不过，除非你是开发人员或喜欢捣鼓构建人工智能应用程序和服务的人，否则这些更新其实并不适合普通消费者。...PC版：https://www.cnbeta.com.tw/articles/soft/1430899.htm手机版：https://m.cnbeta.com.tw/view/1430899.htm

Google Gemini 1.5 Pro 现已拥有“听觉”并推出公共预览版

Google对Gemini1.5Pro进行更新，赋予了模型“听觉”能力。现在，该模型可以聆听上传的音频文件，并从中提取信息，例如财报电话会议或视频中的音频，而无需参考文字记录。在GoogleNext大会上，Google还宣布将首次通过其构建AI应用的平台VertexAI向公众开放Gemini1.5Pro。Gemini1.5Pro最初于2月份发布。这个新版本的GeminiPro被认为是Gemini家族中的中量级模型，但在性能方面已经超越了最大、最强大的模型GeminiUltra。Google声称，Gemini1.5Pro可以理解复杂的指令，并且无需微调模型。目前，Gemini1.5Pro仅对拥有VertexAI访问权限的用户开放。大多数人通过Gemini聊天机器人接触到Gemini语言模型。GeminiUltra为GeminiAdvanced聊天机器人提供支持，虽然它功能强大，也能理解长指令，但速度不如Gemini1.5Pro。除了Gemini1.5Pro，Google的其他大型AI模型也获得了更新。Imagen2是支持Gemini图像生成功能的文本到图像生成模型，它将添加修复和扩展功能，允许用户添加或删除图像中的元素。Google还将其SynthID数字水印功能应用于所有通过Imagen模型创建的图片。SynthID在图像上添加了一个对观众不可见的水印，通过检测工具查看时可以标记其来源。Imagen的许多新功能，尤其是修复和扩展功能，已经是其他文本到图像模型的一部分，例如StabilityAI的StableCascade和Getty的GenerativeAIbyiStock，以及在较新的三星Galaxy手机上更广泛的消费者可用性。Google表示，它还公开预览了一种将AI响应与Google搜索结合起来的方式，以便AI能够提供最新的信息。via匿名标签:#Google#Gemini#AI频道:@GodlyNews1投稿:@GodlyNewsBot

GPT-4劲敌 Google进入高能+高产模式

GPT-4劲敌Google进入高能+高产模式一、极致性能背后的模型架构图源：X平台Alphabet与Google公司首席科学家Jeff Dean推文“巧合”的是，Open AI在Gemini 1.5 Pro官宣两小时发布Sora这枚重磅炸弹，颇有“一较高下”的劲头。只是由于当下大家的视线焦点集中在视频领域，Sora 又是 OpenAI 首次发布文生视频模型，所以无奈被抢了头条。图源：微博评论Gemini 1.5 Pro建立在谷歌对Transformer和MoE架构的领先研究之上。传统Transformer充当一个大型神经网络，而 MoE（Mixture of Experts 混合专家模型）模型则分为更小的“专家”神经网络。在这一结构之下，通过将模型参数划分为多个组别而实现的计算的稀疏化，即每次执行推理任务时，根据对输入类型的判断，MoE模型会通过门控网络选择性地激活神经网络中最契合指令的专家参与计算。这种专业化、模块化的划分可以在提升预训练计算效率的同时提升大模型处理复杂任务的性能，更快地学习复杂任务的同时保证准确性。与稠密模型相比，MoE模型的预训练速度更快；使用MoE 层代替transformer 中的前馈网络（FFN）层。因而对的采用可以弥补Transformer架构运算效率的问题。在Switch-Transformer、M4等领域，Google 一直是深度学习 MoE 技术的早期采用者。目前大部分大语言模型开源和学术工作都没有使用 MoE 架构。有消息称，GPT-4也采用了由 8 个专家模型组成的集成系统。2023年12月8日Mistral AI 发布的 Mixtral 8x7B 同样采用了这种架构。就国内的大模型而言，只有Minimax采用了MoE架构。二、扩容的上下文窗口意味着什么？虽然Gemini 1.5 Pro是 Gemini 1.5 系列的初代版本，但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini 1.5 Pro的一大亮点。多模态大模型卷到今日，上下文窗口容量已然成为提升其理解能力的关键掣肘。此前的SOTA模型将上下文窗口容量卷到了20万token。而谷歌的Gemini 1.5 Pro直接将上下文窗口容量提到了100万token（极限为1000万token），远远超出了 Gemini 1.0 最初的 32,000 个 token，创下了最长上下文窗口的纪录。对于文本处理，Gemini 1.5 Pro在处理高达530,000 token的文本时，能够实现100%的检索完整性，在处理1,000,000 token的文本时达到99.7%的检索完整性。甚至在处理高达10,000,000 token的文本时，检索准确性仍然高达99.2%。在音频处理方面，Gemini 1.5 Pro能够在大约11小时的音频资料中，100%成功检索到各种隐藏的音频片段。在视频处理方面，Gemini 1.5 Pro能够在大约3小时的视频内容中，100%成功检索到各种隐藏的视觉元素。图源：Gemini 1.5 Pro官方测试数据Gemini 1.5 Pro大大超过Gemini 1.0 Pro，在27项基准（共31项）上表现更好，特别是在数学、科学和推理（+28.9%），多语言（+22.3%），视频理解（+11.2%）和代码（+8.9%）等领域。即使是对比Gemini 系列的高端产品Gemini 1.0 Ultra， Gemini 1.5 Pro也在超过一半的基准（16/31）上表现更好，特别是在文本基准（10/13）和许多视觉基准（6/13）上。在 NIAH测试中，Gemini 1.5 Pro能够在长达100万token的文本块中，以99%的准确率找出隐藏有特定信息的文本片段。图源：Gemini 1.5 Pro官方测试数据这个上下文长度使Gemini 1.5 Pro可以自如地处理22小时的录音、超过十倍的完整的1440页的书（587,287字）“战争与和平”，以及四万多行代码、三小时的视频。三、机器脑有多好使除高效架构和强上下文处理能力之外，Gemini 1.5 Pro的优秀品质还在于“情境学习”技能，它可以根据长提示，从以前从未见过的信息中学习新技能，而不需要额外的微调。强学习能力、信息检索与数据分析能力使得在知识海洋中“海底捞针”由想象映照进了现实。根据官方发布的测试报告，当给定卡拉曼语（一种全球使用人数不足 200 人的语言）的语法手册时（500页的语言文献，一本词典和400个平行句子），Gemini 1.5 Pro模型可以学习将英语翻译成卡拉曼语，其水平与学习相同内容的人相似。图源：Gemini 1.5 Pro官方演示样本当被一个45分钟的Buster基顿电影“小神探夏洛克”（1924年）（2674帧，1FPS，684ktoken）提示时，Gemini 1.5 Pro可以从其中的特定帧中检索和提取文本信息，并提供相应的时间戳。此外还可以从一张手绘素描中识别电影中的一个场景。与侧重于衡量模型检索能力的特定事实或细节的任务不同，这些问题通常需要了解跨越大量文本的信息片段之间的关系。图源：Gemini 1.5 Pro官方演示样本Gemini 1.5 Pro在处理长达超过100,000行的代码时，还具备极强的问题解决能力。面对庞大的代码量，它能够深入分析各个示例，提出实用的修改建议，还能详细解释代码的条例框架。给出了整个746,152个令牌JAX代码库，Gemini 1.5 Pro可以识别核心自动微分方法的具体位置。开发者可以直接上传新的代码库，利用这个模型快速熟悉、理解代码结构。图源：Gemini 1.5 Pro官方演示样本正如NVIDIA高级科学家Jim Fan所言，Gemini 1.5 Pro意味着LLM能力的大幅跃升，这对于做个体户的小公司而言可谓一骑绝尘。在人机协同的探索过程中，单一的文本交互很难满足多场景多样态的内容生产诉求。多模态的信息处理与生成能力显然是技术变革的发力点。纽约大学计算机助理教授谢赛宁说，人才第一，数据第二，算力第三，其他都没有什么是不可替代的。Gemini 1.5 Pro是谷歌与巅峰对决的又一利器，或许AGI时代正加快到来。...PC版：https://www.cnbeta.com.tw/articles/soft/1419771.htm手机版：https://m.cnbeta.com.tw/view/1419771.htm