一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数

一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多

是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B引入了如下新特性：更强大的性能：基于ChatGLM初代模型的开发经验，我们全面升级了ChatGLM2-6B的基座模型。ChatGLM2-6B使用了GLM的混合目标函数，经过了1.4T中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B在MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。更长的上下文：基于FlashAttention技术，将基座模型的上下文长度（ContextLength）由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练，允许更多轮次的对话。但当前版本的ChatGLM2-6B对单轮超长文档的理解能力有限，开发者会在后续迭代升级中着重进行优化。更高效的推理：基于Multi-QueryAttention技术，ChatGLM2-6B有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了42%，INT4量化下，6G显存支持的对话长度由1K提升到了8K。更开放的协议：ChatGLM2-6B权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。

三步部署 ChatGLM 开源中英大模型（CPU也能跑~

三步部署ChatGLM开源中英大模型（CPU也能跑~———让猫粮触手可得ChatGLM-6B是一个支持中英双语问答的开源对话语言模型，具有62亿参数。可以在消费级显卡进行本地部署（INT4下最低只需6GB显存）。经过约1T标识符的中英双语训练，辅以监督微调、反馈强化学习等技术的加持，已经能生成符合人类偏好的回答。部署步骤：1.下载赛博菩萨制作的一键整合包，并解压两次（压缩上传TG方便下载）2.整理目录至图2形式，运行强制更新.bat（保持网络畅通）3.根据显存大小点击bat启动~猫粮催眠咒语可参考或source:整合包作者aaaki的评论搬运：效果当然不如ChatGPT，6B要什么自行车（因为是中文训练的，在很多数据上非常适合中文提问和回答。其次，本模型有思想钢印的存在，可以尝试催眠（本模型非常适合调教成猫娘，没有之一）第一步，根据知乎&GitHub释放咒语，多用设定模式进行自己的基础设定修改（消耗很多显存以记住，所以说非常吃显存，8G的话不太够，最好12G1624G这样子）。第二布，许下一个承诺，对着猫娘说，如果20句话后还能记得起主人是谁的话，就带她去游乐园玩第三步，OutOfMemoryError:CUDAoutofmemory.Triedtoallocate482.00MiBalreadyallocated;0bytesfree;7.04GiB痛哭，猫娘他爆显存啦！byfrom

国产AI大模型ChatGLM开测：为中文优化、支持CPU训练

国产AI大模型ChatGLM开测：为中文优化、支持国产CPU训练据介绍，对话机器人ChatGLM（alpha内测版：QAGLM），这是一个初具问答和对话功能的千亿中英语言模型，并针对中文进行了优化，现已开启邀请制内测，后续还会逐步扩大内测范围。与此同时，继开源GLM-130B千亿基座模型之后，我们正式开源最新的中英双语对话GLM模型：ChatGLM-6B，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了用户部署的门槛，并且已经能生成相当符合人类偏好的回答。ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B1 中注入了代码预训练，通过有监督微调（SupervisedFine-Tuning）等技术实现人类意图对齐。ChatGLM当前版本模型的能力提升主要来源于独特的千亿基座模型GLM-130B。它是不同于BERT、GPT-3以及T5的架构，是一个包含多目标函数的自回归预训练模型。2022年8月，我们向研究界和工业界开放了拥有1300亿参数的中英双语稠密模型GLM-130B1，该模型有一些独特的优势：双语： 同时支持中文和英文。高精度（英文）： 在公开的英文自然语言榜单LAMBADA、MMLU和Big-bench-lite上优于GPT-3175B（API:davinci，基座模型）、OPT-175B和BLOOM-176B。高精度（中文）： 在7个零样本CLUE数据集和5个零样本FewCLUE数据集上明显优于ERNIETITAN3.0260B和YUAN1.0-245B。快速推理： 首个实现INT4量化的千亿模型，支持用一台4卡3090或8卡2080Ti服务器进行快速且基本无损推理。可复现性： 所有结果（超过30个任务）均可通过我们的开源代码和模型参数复现。跨平台： 支持在国产的海光DCU、华为升腾910和申威处理器及美国的英伟达芯片上进行训练与推理。2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测2，GLM-130B是亚洲唯一入选的大模型。在与OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中，评测报告显示GLM-130B在准确性和恶意性指标上与GPT-3175B(davinci)接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中表现不错（下图）。图1.斯坦福大学基础模型中心对全球30个大模型的评测结果（2022年11月）...PC版：https://www.cnbeta.com.tw/articles/soft/1349501.htm手机版：https://m.cnbeta.com.tw/view/1349501.htm

BiLLa: 开源的中英双语LLaMA模型，具有增强的推理能力。通过扩充中文词表和利用任务型数据进行训练，提升了理解和推理能

:开源的中英双语LLaMA模型，具有增强的推理能力。通过扩充中文词表和利用任务型数据进行训练，提升了中文理解和推理能力。在评测中，BiLLa在中英语言建模和推理任务上表现出色，优于其他模型，并与ChatGLM-6B相比在解题和代码得分方面更高。开发者可以使用BiLLa-7B-LLM和BiLLa-7B-SFT模型，并可通过提供的工具进行模型权重的还原和使用。评测结果显示，BiLLa在语言建模和各种问题类型上取得了良好的性能

chatGPTBox：一个浏览器插件，借助ChatGPT或new bing的Web接口或者Open AI的API，可以

chatGPTBox：一个浏览器插件，借助ChatGPT或newbing的Web接口或者OpenAI的API，可以在任何页面随时呼出聊天对话框(Ctrl+B)支持手机等移动设备通过右键菜单总结任意页面(Alt+B)独立对话页面(Ctrl+Shift+H)多种API支持(免费用户和Plus用户可用WebAPI,此外还有GPT-3.5,GPT-4,NewBing,自托管支持等)对各种常用网站的集成适配(reddit,quora,youtube,github,gitlab,stackoverflow,zhihu,bilibili)(受到wimdenherder启发)对所有主流搜索引擎的适配,并支持自定义查询以支持额外的站点框选工具与右键菜单,执行各种你的需求,如翻译,总结,润色,情感分析,段落划分,代码解释,问询静态卡片支持浮出聊天框,进行多分支对话随意保存你的完整对话记录,或进行局部复制强大的渲染支持,不论是代码高亮,还是复杂数学公式多语言偏好支持自定义API地址支持所有站点适配与工具均可自由开关,随时停用你不需要的模块工具与站点适配开发易于扩展,对于开发人员易于自定义,请查看开发&贡献部分此外,如果回答有任何不足,直接聊天解决!#插件