开源大模型使用指南 | #指南

#指南本项目是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。本项目的主要内容包括：基于AutoDL平台（可扩展，例如阿里云）的开源LLM环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；针对国内外主流开源LLM的部署使用教程，包括LLaMA、ChatGLM、InternLM等；开源LLM的部署应用指导，包括命令行调用、在线Demo部署、LangChain框架集成等；开源LLM的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning等。本项目适合以下学习者：想要使用或体验LLM，但无条件获得或使用相关API；希望长期、低成本、大量应用LLM；对开源LLM感兴趣，想要亲自上手开源LLM；NLP在学，希望进一步学习LLM；希望结合开源LLM，打造领域特色的私域LLM；以及最广大、最普通的学生群体。

苹果发布 OpenELM 大语言模型，基于开源训练和推理框架的语言模型

苹果发布OpenELM大语言模型，基于开源训练和推理框架的语言模型在WWDC24之前，苹果在HuggingFace平台上发布了一个“具有开源训练和推理框架的高效语言模型”，名为OpenELM。苹果这次发布了完整的框架，包括数据准备、训练、微调和评估程序，以及多个预训练的checkpoint和训练日志，以促进开源研究。其源码及预训练的模型权重和训练配方可在苹果Github库中获取。

LLM Engine：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式主要特征适用于你喜爱的模型的即用型API：部署和服务开源基础模型-包括LLaMA、MPT和Falcon。使用Scale托管模型或部署到您自己的基础设施。微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。优化推理：LLMEngine提供推理API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。开源集成：使用单个命令部署任何。即将推出的功能K8s安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问Scale的托管基础​​设施。快速冷启动时间：为了防止GPU闲置，LLMEngine在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。

Databricks 发布开源指令微调大语言模型 Dolly 2.0

Databricks发布开源指令微调大语言模型Dolly2.0Databricks公司两周前发布了它的指令遵循（instruction-following）大语言模型Dolly，本周三它发布了——可授权商业使用的开源指令微调大语言模型。Dolly2.0有120亿参数，基于EleutherAIpythia模型家族，使用高质量的人类生成的指令遵循数据集进行微调。Databricks开源了Dolly2.0的整个系统，包括训练代码、数据集和模型权重，全都适合商业使用。而目前开源社区流行的LLaMA衍生模型使用的是非商业使用授权。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

Stable Diffusion背后团队发布开源大语言模型 可用于本地部署

StableDiffusion背后团队发布开源大语言模型可用于本地部署（来源：StabilityAI）与StableDiffusion类似，StableLM同样支持知识共享4.0协议，开发者可以在遵守协议的情况下，将这个模型用于商业或研究活动。这家公司在去年发布的StableDiffusion，使得AI“文生图”赛道成为AIGC领域商业化前景最为明朗的行业。StabilityAI介绍称，StableLM可以生成文本和代码，并将助力一系列下游应用。这个模型建立在经典训练集ThePile的新实验训练集上，token数量翻了3倍至1.5万亿，公司也将在适当的时候发布数据集的详细信息。尽管公布出来的模型参数量很少，但数据集的丰富性使StableLM在会话和编程任务中表现出惊人的高性能，展现了小型高效模型如何通过适当的训练提供高性能。（效果演示，来源：StabilityAI）与GPT-4等超级大模型不同，StabilityAI的产品可供每一个人下载并部署在本地。这种做法也曾遭到一些非议，因为彻底开源意味着这些模型极有可能被用于恶意目的，例如撰写钓鱼链接的文案和协同软件攻击等。对此，StabilityAI在周三的公告中也予以回应，强调开源模型是为了促进透明度和培养信任。研究人员可以“深入了解”以验证性能、研究可解释的技术、识别潜在风险并帮助制定保障措施。公共和私营部门可以针对自己的应用程序“微调”这些开源模型，无需共享敏感数据或放弃对AI功能的控制。当然，如此“大方开源”的背后，StabilityAI也背负着沉重的营收压力。据新兴财经媒体Semafor4月初报道，StabilityAI去年底刚刚融到1亿美元的资金正接近“快速烧完”，公司CEOEmadMostaque的领导风格也遭到内部质疑。...PC版：https://www.cnbeta.com.tw/articles/soft/1355777.htm手机版：https://m.cnbeta.com.tw/view/1355777.htm

英伟达的通用大模型 Nemotron，开源了最新的 3400 亿参数版本。

英伟达的通用大模型Nemotron，开源了最新的3400亿参数版本。本周五，英伟达宣布推出Nemotron-4340B。它包含一系列开放模型，开发人员可以使用这些模型生成合成数据，用于训练大语言模型（LLM），可用于医疗健康、金融、制造、零售等所有行业的商业应用。高质量的训练数据在自定义LLM的响应性能、准确性和质量中起着至关重要的作用——但强大的数据集经常是昂贵且难以访问的。通过独特的开放模型许可，Nemotron-4340B为开发人员提供了一种免费、可扩展的方式来生成合成数据，从而帮助人们构建强大的LLM。Nemotron-4340B系列包括基础、Instruct和Reward模型，它们形成了一个pipeline，用于生成训练和改进LLM的合成数据。这些模型经过优化，可与NVIDIANeMo配合使用，后者是一个用于端到端模型训练的开源框架，包括数据管理、定制和评估。它们还针对开源NVIDIATensorRT-LLM库的推理进行了优化。英伟达表示，Nemotron-4340B现已可从HuggingFace下载。开发人员很快就能在ai.nvidia.com上访问这些模型，它们将被打包为NVIDIANIM微服务，并带有可在任何地方部署的标准应用程序编程接口。大语言模型可以帮助开发人员在无法访问大型、多样化标记数据集的情况下生成合成训练数据。Nemotron-4340BInstruct模型创建了多样化的合成数据，模仿了现实世界数据的特征，有助于提高数据质量，从而提高自定义LLM在各个领域的性能和鲁棒性。来源：机器之心