为了使小模型(10B以下)具备更加强大的能力,经过近半年的探索,ChatGLM推出了第四代GLM系列开源模型:GLM-4-9B。

为了使小模型(10B以下)具备更加强大的能力,经过近半年的探索,ChatGLM推出了第四代GLM系列开源模型:GLM-4-9B。GLM-4-9B模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和AllTools等突出能力。GLM-4-9B系列模型包括:基础版本GLM-4-9B(8K)、对话版本GLM-4-9B-Chat(128K)、超长上下文版本GLM-4-9B-Chat-1M(1M)和多模态版本GLM-4V-9B-Chat(8K)。

相关推荐

封面图片

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多

是开源中英双语对话模型ChatGLM-6B的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B引入了如下新特性:更强大的性能:基于ChatGLM初代模型的开发经验,我们全面升级了ChatGLM2-6B的基座模型。ChatGLM2-6B使用了GLM的混合目标函数,经过了1.4T中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B在MMLU(+23%)、CEval(+33%)、GSM8K(+571%)、BBH(+60%)等数据集上的性能取得了大幅度的提升,在同尺寸开源模型中具有较强的竞争力。更长的上下文:基于FlashAttention技术,将基座模型的上下文长度(ContextLength)由ChatGLM-6B的2K扩展到了32K,并在对话阶段使用8K的上下文长度训练,允许更多轮次的对话。但当前版本的ChatGLM2-6B对单轮超长文档的理解能力有限,开发者会在后续迭代升级中着重进行优化。更高效的推理:基于Multi-QueryAttention技术,ChatGLM2-6B有更高效的推理速度和更低的显存占用:在官方的模型实现下,推理速度相比初代提升了42%,INT4量化下,6G显存支持的对话长度由1K提升到了8K。更开放的协议:ChatGLM2-6B权重对学术研究完全开放,在获得官方的书面许可后,亦允许商业使用。

封面图片

Meta 发布 Llama 3 —— 迄今最强大的公开语言模型

Meta发布Llama3——迄今最强大的公开语言模型Llama3的8B和70B型号拥有8K上下文窗口,经过15Ttokens预训练,训练数据比Llama2大了七倍,并且包含四倍多的代码。其中Llama3-8B的性能就已优于Llama2-70B。人类择优测试中Llama3-70B远胜于Claude3Sonnet、MistralMedium和GPT-3.5。Llama3的多模态和更大的版本将在数月内推出,其中最为强大的Llama3-400B+仍在训练中,三天前的基准测试结果已经持平Claude3Opus超过GeminiPro1.5,仅数学落后最先进的GPT-4-2024-04-09。线索:@ZaiHuabot投稿:@TNSubmbot频道:@TestFlightCN

封面图片

阿里巴巴开源1100亿参数Qwen1.5-110B模型,性能与Meta Llama3-70B相当

阿里巴巴开源1100亿参数Qwen1.5-110B模型,性能与MetaLlama3-70B相当阿里巴巴开源了Qwen1.5系列的首个千亿参数模型Qwen1.5-110B,其在基础能力评估中与Meta的Llama3-70B模型相当,并在Chat评估中表现出色。该模型采用Transformer解码器架构,支持32Ktokens上下文长度和多语言。性能提升主要来自模型规模增加,而非预训练方法改变。在MT-Bench和AlpacaEval2.0评估中,110B模型比72B模型有显著提升,证实了大规模模型的优势。Qwen1.5-110B是系列中规模最大的模型,性能优于72B模型。关注频道@TestFlightCN

封面图片

通义千问70亿参数模型上线魔搭社区,开源免费可商用

通义千问70亿参数模型上线魔搭社区,开源免费可商用AI模型社区魔搭ModelScope上架两款开源模型和,阿里云确认其为通义千问70亿参数通用模型和对话模型,两款模型均开源、免费、可商用。在多个权威测评中,通义千问7B模型取得了远超国内外同等尺寸模型的效果,成为当下业界最强的中英文7B开源模型。Qwen-7B是支持中、英等多种语言的基座模型,在超过2万亿token数据集上训练,上下文窗口长度达到8k。Qwen-7B-Chat是基于基座模型的中英文对话模型,已实现与人类认知对齐。开源代码支持对Qwen-7B和Qwen-7B-Chat的量化,支持用户在消费级显卡上部署和运行模型。https://modelscope.cn/models/qwen/Qwen-7B/summaryhttps://modelscope.cn/models/qwen/Qwen-7B-Chat/summaryhttps://github.com/QwenLM/Qwen-7B来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

Google Gemini模型已上线Poe

GoogleGemini模型已上线PoeGoogleGemini模型现已上线Poe,支持上传图片,官方介绍:这是谷歌Gemini家族的多模态模型的Beta版本,该模型在模型性能和速度之间实现了平衡。该模型展现了优秀的通用能力,尤其擅长跨模态推理,并支持最大32k个tokens的上下文窗口。via匿名标签:#Google#Gemini#Poe频道:@GodlyNews1投稿:@GodlyNewsBot

封面图片

Meta发布LLAMA 3.1 405B开源AI模型

Meta发布LLAMA3.1405B开源AI模型Meta公司发布LLAMA3.1405B开源人工智能模型,首席执行官马克·扎克伯格称之为“最先进的”,并表示将与OpenAI和谷歌等竞争对手的类似产品相媲美。新模型花费了数月时间和数亿美元的计算能力进行训练。该模型具有多种新功能,包括改进的推理能力,可帮助解决复杂的数学问题或立即合成整本书的文本。还具有生成式人工智能功能,可以通过文本提示按需创建图像。名为“想象自己”的功能允许用户上传自己的脸部图像,然后可以用来创建在不同的场景和情形中的形象。另外,Meta推出Llama3.1模型8B和70B型号的升级版本,将上下文长度扩展至128K,增加了对8种语言的支持。——、

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人