| #指南本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包

| #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。 本项目适合以下学习者： 想要使用或体验 LLM，但无条件获得或使用相关 API； 希望长期、低成本、大量应用 LLM； 对开源 LLM 感兴趣，想要亲自上手开源 LLM； NLP 在学，希望进一步学习 LLM； 希望结合开源 LLM，打造领域特色的私域 LLM； 以及最广大、最普通的学生群体。

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式 主要特征 适用于你喜爱的模型的即用型 API：部署和服务开源基础模型 - 包括 LLaMA、MPT 和 Falcon。使用 Scale 托管模型或部署到您自己的基础设施。 微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。 优化推理：LLM Engine 提供推理 API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。 开源集成： 使用单个命令部署任何。 即将推出的功能 K8s 安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问 Scale 的托管基础​​设施。 快速冷启动时间：为了防止 GPU 闲置，LLM Engine 在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。 成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。

modihand：独立部署，训练属于你的文本大模型

modihand：独立部署，训练属于你的文本大模型 只需要上传你的 json 数据集，然后在网页点几下，就可以训练属于你的文本大模型 支持 Lora，Ptuning，Freeze 等多种微调训练方式；支持多个开源大模型作为基底，可以完整下载训练完的模型权重，自己部署，断网离线使用

Databricks 发布开源指令微调大语言模型 Dolly 2.0

Databricks 发布开源指令微调大语言模型 Dolly 2.0 Databricks 公司两周前发布了它的指令遵循（instruction-following）大语言模型 Dolly，本周三它发布了可授权商业使用的开源指令微调大语言模型。Dolly 2.0 有 120 亿参数，基于 EleutherAI pythia 模型家族，使用高质量的人类生成的指令遵循数据集进行微调。Databricks 开源了 Dolly 2.0 的整个系统，包括训练代码、数据集和模型权重，全都适合商业使用。而目前开源社区流行的 LLaMA 衍生模型使用的是非商业使用授权。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

：专注于GenAI和LLM(大型语言模型)的快速机器学习模型服务项目，以简单性为首要目标。其主要特色包括快速部署、支持多种模型类

：专注于GenAI和LLM(大型语言模型)的快速机器学习模型服务项目，以简单性为首要目标。其主要特色包括快速部署、支持多种模型类型和自定义模型服务能力。 通过简单的安装和使用示例，用户可以快速部署各种模型，包括Mistral-7B、SDXL Turbo、人脸检测和图像分类等。 FastServe提供了用户界面，方便用户进行交互操作。部署方面，可以轻松集成到Lightning AI Studio。

：开源大模型的统一后端接口，支持多种开源大模型

：开源大模型的统一后端接口，支持多种开源大模型 该项目为开源大模型的推理实现统一的接口接口，与OpenAI响应保持一致，具有以下特性： 以OpenAI ChatGPT API这样的方式调用开源分布式大模型 支持流式响应，实现打印机效果 实现文本嵌入模型，为文档知识问答提供支持 支持大规模语言模型开发工具langchain 的广泛功能 要简单的修改环境变量即可将开源模型作为chatgpt的替代模型，为大众应用提供反馈支持 支持加载经过自行训练的lora模型