TencentPretrain：腾讯预训练模型框架

TencentPretrain：腾讯预训练模型框架 预训练已经成为人工智能技术的重要组成部分，为大量人工智能相关任务带来了显著提升。TencentPretrain是一个用于对文本、图像、语音等模态数据进行预训练和微调的工具包。TencentPretrain遵循模块化的设计原则。通过模块的组合，用户能迅速精准的复现已有的预训练模型，并利用已有的接口进一步开发更多的预训练模型。通过TencentPretrain，我们建立了一个模型仓库，其中包含不同性质的预训练模型（例如基于不同模态、编码器、目标任务）。用户可以根据具体任务的要求，从中选择合适的预训练模型使用。TencentPretrain继承了的部分工作，并在其基础上进一步开发，形成支持多模态的预训练模型框架。 TencentPretrain有如下几方面优势: 可复现 TencentPretrain已在许多数据集上进行了测试，与原始预训练模型实现（例如BERT、GPT-2、ELMo、T5、CLIP）的表现相匹配 模块化 TencentPretrain使用解耦的模块化设计框架。框架分成Embedding、Encoder、Target等多个部分。各个部分之间有着清晰的接口并且每个部分包括了丰富的模块。可以对不同模块进行组合，构建出性质不同的预训练模型 多模态 TencentPretrain支持文本、图像、语音模态的预训练模型，并支持模态之间的翻译、融合等操作 模型训练 TencentPretrain支持CPU、单机单GPU、单机多GPU、多机多GPU训练模式，并支持使用DeepSpeed优化库进行超大模型训练 模型仓库 我们维护并持续发布预训练模型。用户可以根据具体任务的要求，从中选择合适的预训练模型使用 SOTA结果 TencentPretrain支持全面的下游任务，包括文本/图像分类、序列标注、阅读理解、语音识别等，并提供了多个竞赛获胜解决方案 预训练相关功能 TencentPretrain提供了丰富的预训练相关的功能和优化，包括特征抽取、近义词检索、预训练模型转换、模型集成、文本生成等 ||#框架

| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。

| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。 - 微调需要收集任务特定的数据集，一般大小在几十MB到几GB。 - 数据预处理非常重要，需要将数据清理成合适的格式，如JSONL。 - 主要的训练超参数包括batch size、epoch数、学习率、梯度累积步数等。 - LoRA是一种减少GPU内存占用的微调方法，QLoRA则通过量化进一步降低了内存需求。 - 学习曲线可以诊断模型的训练情况，判断是否欠拟合、过拟合或拟合良好。 - 模型量化可以降低模型大小，使大模型也能在低显存环境下使用。 - 模型适配器方法可以进行个性化微调而不加载整个模型。 - 模型融合可以组合多个模型的优势得到更优的单模型。 - 合理配置训练超参数以及诊断学习曲线对获得期望的模型至关重要。

：大语言模型裁剪工具。通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到

：大语言模型裁剪工具。通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到的知识。 大语言模型(LLM, Large Language Model)犹如雨后春笋般，其虽然效果惊艳，但参数量巨大，让普通玩家望而却步。 如今的大语言模型大多为多语种大预言模型(Multilingual Large Language Model)，如LLaMA、mT5、Bloom等，其词表规模巨大，占据非常大部分的模型参数，如Bloom具有25万词表。 在训练模型时，词表权重将会消耗非常大的显存，降低训练速度，产生OOM的现象。 但在许多下游任务中，一般只会用到一两种语言，例如在中文场景中，一般只会用到中英文。 我们可以对大语言模型的词表进行裁剪，只留下所需的部分，这样不仅能够充分保留模型的预训练知识，并且能够使用更少的显卡进行下游任务的finetune，提升训练效率。 | #工具

：赋予大型预训练语言模型遵循复杂指令的能力

：赋予大型预训练语言模型遵循复杂指令的能力 遵循指令的能力对大部分开源大语言模型来说是一个独特的挑战。该项目提出的解决方案是使用LLM本身来生成指令数据。 研究人员开发的Evol-Instruct方法随机选择不同类型的进化操作来将简单指令升级为更复杂的指令，或者创建全新的指令。然后使用进化的指令数据来微调LLM，从而创建WizardLM。

如果预训练阶段没有看过，在微调时增加的知识可能更容易让模型产生幻觉。

如果预训练阶段没有看过，在微调时增加的知识可能更容易让模型产生幻觉。 以此推论，开源模型微调的事实性很难有提升。而GPT4的事实性准确性也来自预训练。 anton: This is a useful recent talk on why LLMs hallucinate. It seems that fine tuning can teach the model to hallucinate more if that knowledge was not previously seen before during training

《卢菁博士AI大模型微调实战训练营》

《卢菁博士AI大模型微调实战训练营》 简介：《卢菁博士AI大模型微调实战训练营》由卢菁博士主讲，是专注于AI大模型微调的实战课程。课程详细介绍AI大模型微调的原理、方法和技巧，通过实际案例和项目，指导学员掌握如何根据具体任务需求对预训练大模型进行微调，以提高模型性能和应用效果，适合AI开发者、数据科学家等专业人士学习 标签： #AI大模型 #模型微调 #实战训练 #AI开发 #数据科学 文件大小：NG 链接：