【商汤发布日日新5.0大模型，推理上下文窗口200K】

【商汤发布日日新5.0大模型，推理上下文窗口200K】 华尔街见闻获悉，商汤科技在4月23日发布日日新5.0大模型，采用MOE混合专家架构，基于超过10TB tokens训练，推理上下文窗口200K，相当于36.5万字个汉字，全面对标GPT-4 Turbo。（全天候科技）

谷歌发布了Gemini 1.5模型，最主要的升级是支持了高达 100 万的上下文长度，秒杀了所有模型。

谷歌发布了Gemini 1.5模型，最主要的升级是支持了高达 100 万的上下文长度，秒杀了所有模型。 Gemini 1.5基于Transformer和MoE架构的研究和工程创新，提高了训练和服务的效率。 Gemini 1.5 Pro是一个中等规模的多模态模型，适用于多种任务，并引入了在长上下文理解方面的实验性特性。 它标准的上下文窗口为128,000个Token，但现在已经可以通过AI Studio和Vertex AI向开发者和企业客户提供高达100万个Token的私人预览。 1.5 Pro 可以一次处理大量信息包括 1 小时的视频、11 小时的音频、包含超过 30,000 行代码的代码库或超过 700,000 个单词。 Gemini 1.5 Pro在文本、代码、图像、音频和视频评估的综合面板上的性能超过了Gemini 1.0 Pro，并且与1.0 Ultra在同样的基准测试上表现相当。 此外，Gemini 1.5 Pro在进行长上下文窗口的测试中表现出色，在NIAH评估中，它在长达100万个Token的数据块中99%的时间内找到了嵌入的文本。 了解更多：#context-window

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升 总体而言，模型会更注意开头的文本 准确性方面，有时上下文更长的Claude100k表现不如 ChatGPT16k 利用ChatDoc/ChatPDF 来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果 最后，价格高贵的GPT4效果拔群

卧槽。Anthropic已经把Claude的上下文窗口扩展到10万文本标记，大概七万五千个字符。

卧槽。Anthropic已经把Claude的上下文窗口扩展到10万文本标记，大概七万五千个字符。 你现在可以提交数百页材料供Claude消化和分析。与Claude的谈话可以持续数小时或数天。 终于可以实现把一个论文扔给他分析了。 文章链接：

该模型在基础能力评估中与 Meta-Llama3-70B 不相上下。支持 32K Token 的上下文长度。提供包括英语、中文、

该模型在基础能力评估中与 Meta-Llama3-70B 不相上下。支持 32K Token 的上下文长度。提供包括英语、中文、法语、西班牙语、日语、韩语、越南语等多种语言的多语言支持。 模型下载： 标签: #通义千问 #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

月之暗面支持200万字上下文的Kimi智能助手启动内测

月之暗面支持200万字上下文的Kimi智能助手启动内测 从月之暗面获悉，3月18日，月之暗面Kimi智能助手在长上下文窗口技术上再次取得突破，无损上下文长度提升数量级到200万字。目前，支持200万字上下文的Kimi已启动内测。（上证报） 来源：雪球7X24资讯