LLM Giraffe可以用来扩展LLM的上下文长度,它实现了将LLAMA v1 2K的上下文长度扩展为4K和16K。

None

相关推荐

封面图片

Together AI 把 LLaMA 的上下文扩展到 K模型公开,可直接微调配方公开,可自己进行类似扩展详见:

封面图片

Claude 支持 100k上下文,视频 demo :100k上下文能做什么

封面图片

Together AI 把 LLaMA2 的上下文扩展到 32K模型公开,可直接微调配方公开,可自己进行类似扩展详见:

封面图片

16k 的上下文虽然不如100k,但是也是比较经济和稳定的选择,embedding 则是不靠谱的选择。未来上下文窗口一定会越来越

封面图片

该模型在基础能力评估中与 Meta-Llama3-70B 不相上下。支持 32K Token 的上下文长度。提供包括英语、中文、

该模型在基础能力评估中与 Meta-Llama3-70B 不相上下。支持 32K Token 的上下文长度。提供包括英语、中文、法语、西班牙语、日语、韩语、越南语等多种语言的多语言支持。 模型下载: 标签: #通义千问 #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K,是目前全球最长的上下文窗口,能够一次处理约35万

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K,是目前全球最长的上下文窗口,能够一次处理约35万个汉字。 官方宣称:Baichuan2-192K不仅在上下文窗口长度上超越Claude2,在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。 10项长文本评测7项取得SOTA,全面领先Claude2 Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异,有7项取得SOTA,显著超过其他长窗口模型。 此外,LongEval的评测结果显示,在窗口长度超过100K后Baichuan2-192K依然能够保持非常强劲的性能,而其他开源或者商用模型在窗口长度增长后效果都出现了近乎直线下降的情况。Claude2也不例外,在窗口长度超过80K后整体效果下降非常严重。 Baichuan2-192K正式开启内测,已落地法律、媒体等诸多真实场景 Baichuan2-192K现已正式开启内测,以API调用的方式开放给百川智能的核心合作伙伴,已经与财经类媒体及律师事务所等机构达成了合作,将Baichuan2-192K全球领先的长上下文能力应用到了传媒、金融、法律等具体场景当中,不久后将全面开放。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人