大语言模型（LLM）微调技术笔记 || #笔记

大语言模型（LLM）微调技术笔记 || #笔记 在预训练后，大模型可以获得解决各种任务的通用能力。然而，越来越多的研究表明，大语言模型的能力可以根据特定目标进一步调整。这就是微调技术，目前主要有两种微调大模型的方法 1：指令微调，目标是增强（或解锁）大语言模型的能力。 2：对齐微调，目标是将大语言模型的行为与人类的价值观或偏好对齐。

| #指南本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包

| #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。 本项目适合以下学习者： 想要使用或体验 LLM，但无条件获得或使用相关 API； 希望长期、低成本、大量应用 LLM； 对开源 LLM 感兴趣，想要亲自上手开源 LLM； NLP 在学，希望进一步学习 LLM； 希望结合开源 LLM，打造领域特色的私域 LLM； 以及最广大、最普通的学生群体。

见鬼了，谷歌居然开源LLM模型了，Meta要慌了。

见鬼了，谷歌居然开源LLM模型了，Meta要慌了。 Gemma 采用了和Gemini一样技术的开源LLM，同时质量也比同规模的模型要强。 下面是一些要点： ◈ 两种尺寸的模型权重：Gemma 2B和Gemma 7B。每种尺寸都有预训练和指导调整的变体。 ◈ 一个生成式人工智能工具包，为使用Gemma创建更安全的人工智能应用提供指导和必要工具。 ◈ 通过原生Keras 3.0为所有主要框架（JAX、PyTorch和TensorFlow）提供推理和监督微调（SFT）的工具链。 ◈ 准备好的Colab和Kaggle笔记本，以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT等流行工具的集成，使得开始使用Gemma变得非常容易。 ◈ 预先训练和经过调整的Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行，并可以轻松部署到Vertex AI和Google Kubernetes Engine（GKE）。 ◈ 跨多个人工智能硬件平台的优化确保了行业领先的性能，包括NVIDIA GPU和Google Cloud TPU。 ◈ 允许所有组织进行负责任的商业使用和分发，无论规模大小。 ◈未来还会发布Gemma更大模型变体。 了解更多：

：易于使用的 PyTorch 库，可轻松编写、微调和实验LLM模型。

：易于使用的 PyTorch 库，可轻松编写、微调和实验LLM模型。 该库提供了多种功能，包括使用 native-PyTorch 实现的流行语言模型，支持各种格式的复原，以及提供训练和评估工具，例如 HF 格式的检查点支持。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。 主要提供： 为多个本地 LLM 模型提供高性能、高效和可靠的服务 可选择通过 CUDA 或 Metal 进行 GPU 加速 可配置的 LLM 完成任务（提示、召回、停止令牌等） 通过 HTTP SSE 流式传输完成响应，使用 WebSockets 聊天 使用 JSON 模式对完成输出进行有偏差的采样 使用向量数据库（内置文件或 Qdrant 等外部数据库）进行记忆检索 接受 PDF 和 DOCX 文件并自动将其分块存储到内存中 使用静态 API 密钥或 JWT 标记确保 API 安全 简单、单一的二进制+配置文件服务器部署，可水平扩展 附加功能： 用于轻松测试和微调配置的 Web 客户端 用于本地运行模型的单二进制跨平台桌面客户端

《》基于Linux环境快速部署开源大模型 | #指南

《》基于Linux环境快速部署开源大模型 | #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。