本项目旨在构建一个小参数量的llm，走完预训练 -> 指令微调 -> 奖励模型 -> 强化学习 四个阶段，以可控的成本完成一个可

本项目旨在构建一个小参数量的llm，走完预训练 -> 指令微调 -> 奖励模型 -> 强化学习 四个阶段，以可控的成本完成一个可以完成简单聊天任务的chat模型，目前完成前两个阶段。 使用bert4torch训练框架，代码简洁高效； 训练的checkpoint可以无缝衔接transformers，直接使用transformers包进行推理； 优化了训练时候文件读取方式，优化内存占用； 提供了完整训练log供复现比对； 增加自我认知数据集，可自定义机器人名称作者等属性。 chat模型支持多轮对话。

: 一站式 #机器学习 开发平台

: 一站式 #机器学习 开发平台 MetaSpore 具有以下特点： 一站式端到端开发，从离线模型训练到在线预测和分桶实验，全流程统一开发体验； 深度学习训练框架，兼容PyTorch生态，支持分布式大规模稀疏特征学习； 训练框架与PySpark对接，从数据湖和数据仓库无缝读取训练数据； 高性能在线预测服务，支持神经网络、决策树、Spark ML、SKLearn等模型的快速推理；支持异构计算推理加速； 在离线统一特征提取框架中，自动生成在线特征读取逻辑，特征提取逻辑统一跨离线和在线； 在线算法应用框架，提供模型预测、实验分桶和流量拆分、参数动态热加载和丰富的调试功能； 丰富的行业算法示例和端到端的解决方案。

《卢菁博士AI大模型微调实战训练营》

《卢菁博士AI大模型微调实战训练营》 简介：《卢菁博士AI大模型微调实战训练营》由卢菁博士主讲，是专注于AI大模型微调的实战课程。课程详细介绍AI大模型微调的原理、方法和技巧，通过实际案例和项目，指导学员掌握如何根据具体任务需求对预训练大模型进行微调，以提高模型性能和应用效果，适合AI开发者、数据科学家等专业人士学习 标签：#AI大模型#模型微调#实战训练#AI开发#数据科学 文件大小：NG 链接：https://pan.quark.cn/s/46ad619b27b7

中文LLaMA-2 & Alpaca-2大语言模型 ()

中文LLaMA-2 & Alpaca-2大语言模型 () 本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。 这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。 本项目主要内容： 针对Llama-2模型增加了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型 了预训练脚本、开源指令精调脚本，用户可根据需要进一步训练模型 使用个人电脑的CPU/GPU在本地快速进行大模型仿真和部署体验 支持Transformers , llama.cpp , text- Generation-webui , LangChain , vLLM等LLaMA生态 目前已开源的模型：Chinese-LLaMA-2-7B, Chinese-Alpaca-2-7B

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。 近日，Colossal-AI 团队充分利用了 LLaMA-2 的基础能力，采用高效的训练方法，仅使用约 8.5B token 数据、15 小时、数千元的训练成本，成功构建了性能卓越的中文 LLaMA-2，在多个评测榜单性能优越。 相较于原始 LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同规模预训练 SOTA 模型媲美。 该项目在 GitHub 完全开源了全套训练流程、代码及权重，无商用限制，并提供了一个完整的评估体系框架 ColossalEval，以实现低成本的可复现性。 不仅如此，相关方案还可迁移应用到任意垂类领域，以及从头预训练大模型的低成本构建。 |

| #指南本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包

| #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。 本项目适合以下学习者： 想要使用或体验 LLM，但无条件获得或使用相关 API； 希望长期、低成本、大量应用 LLM； 对开源 LLM 感兴趣，想要亲自上手开源 LLM； NLP 在学，希望进一步学习 LLM； 希望结合开源 LLM，打造领域特色的私域 LLM； 以及最广大、最普通的学生群体。