国产AI大模型ChatGLM开测：为中文优化、支持CPU训练

国产AI大模型ChatGLM开测：为中文优化、支持国产CPU训练据介绍，对话机器人ChatGLM（alpha内测版：QAGLM），这是一个初具问答和对话功能的千亿中英语言模型，并针对中文进行了优化，现已开启邀请制内测，后续还会逐步扩大内测范围。与此同时，继开源GLM-130B千亿基座模型之后，我们正式开源最新的中英双语对话GLM模型：ChatGLM-6B，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了用户部署的门槛，并且已经能生成相当符合人类偏好的回答。ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B1 中注入了代码预训练，通过有监督微调（SupervisedFine-Tuning）等技术实现人类意图对齐。ChatGLM当前版本模型的能力提升主要来源于独特的千亿基座模型GLM-130B。它是不同于BERT、GPT-3以及T5的架构，是一个包含多目标函数的自回归预训练模型。2022年8月，我们向研究界和工业界开放了拥有1300亿参数的中英双语稠密模型GLM-130B1，该模型有一些独特的优势：双语： 同时支持中文和英文。高精度（英文）： 在公开的英文自然语言榜单LAMBADA、MMLU和Big-bench-lite上优于GPT-3175B（API:davinci，基座模型）、OPT-175B和BLOOM-176B。高精度（中文）： 在7个零样本CLUE数据集和5个零样本FewCLUE数据集上明显优于ERNIETITAN3.0260B和YUAN1.0-245B。快速推理： 首个实现INT4量化的千亿模型，支持用一台4卡3090或8卡2080Ti服务器进行快速且基本无损推理。可复现性： 所有结果（超过30个任务）均可通过我们的开源代码和模型参数复现。跨平台： 支持在国产的海光DCU、华为升腾910和申威处理器及美国的英伟达芯片上进行训练与推理。2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测2，GLM-130B是亚洲唯一入选的大模型。在与OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中，评测报告显示GLM-130B在准确性和恶意性指标上与GPT-3175B(davinci)接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中表现不错（下图）。图1.斯坦福大学基础模型中心对全球30个大模型的评测结果（2022年11月）...PC版：https://www.cnbeta.com.tw/articles/soft/1349501.htm手机版：https://m.cnbeta.com.tw/view/1349501.htm

一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数

一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。

ChatGPT被曝测试新功能：学习所有历史聊天 还能重置记忆

ChatGPT被曝测试新功能：学习所有历史聊天还能重置记忆比如你可以给它下达一句“始终用python写代码”的命令，那么之后你再让它写的所有代码都是这个语言了。当你跟它说了句“两周后我要去xx”，说不定到时你再问它一些美食的问题，它就会直接推荐该目的地了。已经有不止一位网友发现，自己的ChatGPT已经在悄悄测试该功能。还没有体验到的也有“亿点点”兴奋。我的女朋友终于可以记住我了。毫无疑问，这个新功能意味着ChatGPT有了灵魂，更像你的一个朋友，而非单纯的聊天机器人。因此也有人表示，感觉脑子已经差不多了，接下来就差安排个身体了。还有人给予的评价更高：家人们，简直就是在目睹科幻级别的AI在我们眼前构建啊。“从你们的对话中学习”从网友曝出的截图来看，这个新功能将在“设置”中直接成为一个新的Tab，名字叫“MyChatGPT”。它需要手动开启，点击其中的“Learnfromyourchats”选项之后，ChatGPT就可以开始学习你们的聊天内容了。随着时间的推移，它将会越来越了解你的信息和偏好，不断调整回应，使回答更贴心、更为你量身定制。当然，你可能有一些不想让它记住的内容。完全没问题，只需聊完跟它嘱咐一句即可。比如“忘掉我（跟你聊的）上一个项目的信息”。那么，对于刚才的对话，ChatGPT直接就“阅后即焚”了。当然，还有重置记忆功能，就是一旦选择就不可以撤销了。Reddit上的OpenAI子板块还有一则爆料，称ChatGPT还将上线一个“临时聊天”功能，作用和上面的差不多。它不仅能让当前对话不被ChatGPT拿去学习，历史记录中也不会保存，也就不会被拿去训练改进模型了。最后，对于ChatGPT这项学习聊天内容的新功能，有人表示自己前两天还在说这个事儿呢。虽然他当时只是希望自定义GPTs可以跨聊天进行记忆，这样获取信息就更为轻松和智能，就像数字大脑一样。没想到OpenAI这么给力，直接先在整个ChatGPT上安排了，更新速度甚是让人满意。现在，就不知道是哪天能够全面上线了。以及一个重要的问题是：它会不会仍然是尊贵的plus会员独享？你期待你的GPT拥有这项新能力吗？参考链接：[1]https://twitter.com/SmokeAwayyy/status/1725068504104345786[2]https://www.reddit.com/r/OpenAI/comments/17wlhbv/your_gpt_will_soon_learn_from_your_chats/...PC版：https://www.cnbeta.com.tw/articles/soft/1397735.htm手机版：https://m.cnbeta.com.tw/view/1397735.htm

百度称文心大模型3.5版多项评测超越ChatGPT

百度称文心大模型3.5版多项评测超越ChatGPT中国互联网巨头百度称，百度所开发的AI产品“文心一言”在多项关键评测超越由微软旗下OpenAI所开发的ChatGPT。据路透社报道，百度星期二（6月27日）在一份声明中说，文心大模型3.5版在几个中文能力评测的表现比GPT-4优秀，而且综合能力的评测超越了ChatGPT，但稍逊于GPT-4。上述评测是在AGIEval、C-Eval和MMLU三个评测基准上进行综合评估。百度称，评测结果显示，文心大模型3.5版具有更好的训练和推理效率，这使文心一言未来能以更快、成本更低的方式进行迭代。据新浪科技引述知情人士报道，除了文心大模型3.5，评测的模型还有ChatGPT、GPT-4、ChatGLM、LLaMa系列大模型。上述结果也意味着，文心大模型3.5目前领先于其他开源大模型。

清华大学教授AMiner创始人唐杰的团队做了一个全新的Agent能力榜单，评估基础模型智能体。

清华大学教授AMiner创始人唐杰的团队做了一个全新的Agent能力榜单，评估基础模型智能体。这是一个多维演进基准测试，包括8个不同环境，用于评估大型语言模型（LLMs）在多回合开放式生成环境中的推理和决策能力，通过对25个语言模型的广泛测试，发现顶级商业语言模型在复杂环境中表现出色，且与开源模型之间存在显著差距。AgentBench的数据集，环境，和集成评估包已在github上发布。8种不同的环境任务，即操作系统（OS）、数据库（DB）、知识图谱（KG）、卡牌对战（DCG）、情景猜谜（LTP）、家居（Alfworld）、网络购物（WebShop）、和网页浏览（Mind2Web）。使用AgentBench对25个不同的语言模型进行了全面评估，揭示了领先的商业语言模型与开源模型之间的显着性能差距。对语言模型作为智能体的更广泛讨论的贡献，表明需要进行严格、系统的评估，并提供强大的开源工具来促进此类评估。

ChatGPT造孽 中国高校因它算力荒

ChatGPT造孽中国高校因它算力荒现在，校企合作也更偏爱大模型。去年11月ChatGPT发布后，与非大模型团队合作的企业骤减，近期找上门的，也是张口就问：“你们做大模型不？”做，有高校和企业的通力支持；不做？那就只能眼睁睁看着算力花落别家。哪怕某量化私募基金的有10000张A100卡，还对高校研究团队开放申请，也不见得能落一张到你头上。“要是我们组能分到一些就好了。”看到这条微博，非大模型团队带队的数据科学方向博士小哥羡慕不已，因为缺算力，他都愁得快仰天长啸了：我们也值得投资啊！！！现在，大伙争先恐后扑向ChatGPT背后GPT-3.5般的各种大模型，算力流向亦然。其他AI领域本就不足的算力更荒了，尤其是国内学界手里的算力分配下来，贫富差距肉眼可见。一整个实验室就4块3090卡巨大规模算力以月为单位的租用成本，对研究团队来说不是小数目。大模型正当其道，学界研究大模型的实验室或团队拥有算力资源的优先分配权。就拿小哥在学校的亲身体验来说，在他们研究室，大模型小组10个人有10块A800卡可用，而另一个研究传统机器学习方向的实验室，整个实验室只有4块3090卡。拥抱主流趋势是一重原因，另一重原因是实验室需要运转和维护的经费，获得拨款的一种形式是申请国家项目，但必要步骤是提供论文成果。双重原因下，本就不多的算力资源，不得不优先分配给大模型这样热门且相对容易出成果的研究。哪怕对学界来说，训一个大模型其实练不太动——因为数据、算力和资金都有些捉襟见肘。为了获得更多的资源，有的非大模型实验室甚至额外专门成立研究大模型的团队。当然，想要获得资金和资源，校企合作也是不可或缺的一种方式。这种推动产研融合的重要支撑形式持续已久，2020年，KDD中校企合作论文占比超过50%，这个比例在ICCV中达到45%。举例来说，2021年，清华大学KEG、PACMAN（并行与分布式计算机系统）、NLP等实验室着手推进训练千亿参数的稠密模型，但团队用于训练模型的计算资源并不充足。最终，校外企业智谱AI租用了近百台A100的服务器，免费提供所需算力，这才有了双语预训练语言大模型GLM-130B的诞生。GLM-130B的任务表现但在众人争先恐后扑向GPT-3.5般大模型的当下，非大模型团队开始不太好谈这类合作了。去年11月ChatGPT发布后，与小哥所在团队洽谈校企合作事宜的公司数量急剧减少。在其他高校，AI领域的非大模型团队也总是面临企业询问，“要不要/会不会做大模型”。本就稀缺的算力，在学界有成为追逐热点的砝码的倾向，算力资源分配的马太效应由此逐渐扩大，带给学术研究很大困扰。ChatGPT加剧算力分配贫富分化算力是AI飞速发展必不可少的指标，2018年，OpenAI发布的报告中点出一个算力趋势：自2012年以来，AI训练任务所运用的算力每3.43个月就会翻倍。到2018年，AI算力需求增长了30万倍。产学研对算力需求暴增，我们能提供的算力有多少？据中国算力集团统计，截至2022年6月底，我国数据中心机架使用总规模超过590万标准机架，服务器规模约2000万台，算力总规模排名全球第2。这个排名还算不错，但摊开来看仍旧远远不够，毕竟放眼全球，没有哪个国家不是嗷嗷待哺，等着更多的算力资源“投喂”。再退一步讲，买得起显卡，拥有的算力上去了，电费也是天文数字。况且我国还有特殊情况——开放原子开源基金会业务发展部部长朱其罡在本月举办的CCFYOCSEF上发言阐述现状称，超算领域的核心技术，一个是IBMLSF超算系统，一个是开源系统。目前，国内多数超算中心都基于开源系统做封装，但这个版本调度资源的效率和能力都有很大的提升空间。以及，因为众所周知的原因，A100、H100这俩目前性能最强的GPU，还没找到可规模替代的方案。英伟达A100显卡综上，算力不够已是积弊，但ChatGPT时代，算力需求剧烈扩张，除了大量训练算力，大量推理算力也需要支撑。所以现在的情况是，因为ChatGPT显示出大模型的推理能力，训练和研究大模型的算力需求增加；同时因为大模型热度爆棚，蜂拥至大模型的算力资源也增加。分配给大模型领域的算力资源丰富起来，其他AI领域缺衣少食的情况逐渐加剧，研发能力受到掣肘。可以说，ChatGPT成为如今的AI届白月光后，加剧了算力分配的贫富分化。这般“富”甲一方的大模型，是不是AI研究路径上最好的？还没人能够回答。但值得引起注意和重视的是，GPT系列为首的大模型不应该吸引全部目光，整个AI领域还有各种各样的研究方向，还有更加细分的垂直领域，以及带来更多生产力的模型和产品。当ChatGPT的热度趋于平缓，学界的算力资源分配差距会缩小吗？所有非大模型方向的实验室和团队，恐怕都在期待之中。...PC版：https://www.cnbeta.com.tw/articles/soft/1349115.htm手机版：https://m.cnbeta.com.tw/view/1349115.htm