小米大语言模型 MiLM 正式通过大模型备案

小米大语言模型 MiLM 正式通过大模型备案 5月16日，据小米公司微博消息，小米大语言模型 MiLM 正式通过大模型备案。小米公司表示，小米大模型将逐步应用于小米汽车、手机、智能家居等产品中。后续也将面向更多用户开放体验。据悉，小米大语言模型以轻量化和本地部署为突破口，通过端云结合，实现设备和场景之间的互联，为“人车家全生态”战略赋能。

教你从零开始构建类似 ChatGPT 的大语言模型。

教你从零开始构建类似 ChatGPT 的大语言模型。 在 GitHub 上发现一本《Build a Large Language Model (From Scratch)》书籍。 作者将带你从头开始构建一个类似 GPT 语言模型，这过程让你了解如何创建、训练和微调大型语言模型 (LLMs)！ 书籍主要分为 8 大章节，如下： 第 1 章：了解大语言模型（LLM）解析 第 2 章：介绍文本数据处理技巧 第 3 章：通过编程实现注意力机制（Attention Mechanisms） 第 4 章：从零开始实现类似 GPT 模型 第 5 章：对未标注数据进行预训练 第 6 章：针对文本分类的模型微调 第 7 章：结合人类反馈进行模型微调 第 8 章：在实践中使用大语言模型 书籍前两章内容已出，剩下的会逐步放出。 |

：大语言模型裁剪工具。通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到

：大语言模型裁剪工具。通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到的知识。 大语言模型(LLM, Large Language Model)犹如雨后春笋般，其虽然效果惊艳，但参数量巨大，让普通玩家望而却步。 如今的大语言模型大多为多语种大预言模型(Multilingual Large Language Model)，如LLaMA、mT5、Bloom等，其词表规模巨大，占据非常大部分的模型参数，如Bloom具有25万词表。 在训练模型时，词表权重将会消耗非常大的显存，降低训练速度，产生OOM的现象。 但在许多下游任务中，一般只会用到一两种语言，例如在中文场景中，一般只会用到中英文。 我们可以对大语言模型的词表进行裁剪，只留下所需的部分，这样不仅能够充分保留模型的预训练知识，并且能够使用更少的显卡进行下游任务的finetune，提升训练效率。 | #工具

中国已备案近120款人工智能大模型

中国已备案近120款人工智能大模型 4月12日，中国国家互联网信息办公室副主任王嵩在2024数字经济峰会致辞表示，截至2024年3月底，中国内地已备案上线近120款大模型，深层次人工智能技术正在赋能千行百业显示，完成生成式人工智能服务备案的大模型包括中国移动九天、百度文心一言、阿里巴巴通义千问、华为云盘古、腾讯混元助手、OPPO安第斯、vivo蓝心等。

xAI 推出 Grok-1.5 大语言模型

xAI 推出 Grok-1.5 大语言模型 马斯克旗下的人工智能公司 xAI 今天在官方博客中宣布，正式推出 Grok-1.5 大语言模型。Grok-1.5 具有改进的推理能力和 128k 的上下文长度。Grok-1.5 最显著的改进之一是其在编码和数学相关任务中的表现。Grok-1.5 将在未来几天内在 平台上向早期测试人员和现有的 Grok 用户推出。

#AI 国产 AI 大模型都集中在这段时间完成了备案，可以看到很多「全面开放」「正式上线」的消息。

#AI 国产 AI 大模型都集中在这段时间完成了备案，可以看到很多「全面开放」「正式上线」的消息。 不过整个体验下来，还是讯飞的星火大模型最能打，连一些用来识别 ChatGPT 4 的问题也能回答的很到位。 支持图片对话，识别能力很不错，也支持一些插件，比如文档问答、PPT 生成、简历生成等，在助手中心，还收录了海量的提示词模版，相当实用。 目前免费无限制，注册即可使用，感兴趣的小伙伴可以去体验一下。 https://xinghuo.xfyun.cn 频道 @WidgetChannel