大模型微调实战营-应用篇 - 带源码课件

名称：大模型微调实战营-应用篇-带源码课件描述：本课程包括大模型基础，大模型指令微调，常用的开源模型微调，大模型对齐，垂直领域大模型应用5个阶段，内容涵盖大模型微调应用场景，大模型基座，LoRA参数微调，模型压缩，QLoRA参数微调，DeepSpeed训练框架解析，Megatron-LM训练框架解析，FlashAttention技术应用，微调模型Benchmark，ChatGLM，LLaMA，Mistral，MoE，大模型对齐，RLHF，DPO，垂直领域大模型应用等前沿技术等全方位知识讲解，并结合8个实战项目，帮助同学们实现学以致用。链接：https://www.alipan.com/s/D4K4qJ6s1Mi大小：NG标签：#学习#知识#课程#资源来自：雷锋频道：@Aliyundrive_Share_Channel群组：@alyd_g投稿：@AliYunPanBot

【数据技术课堂】深度学习实战训练营（5期）

名称：【数据技术课堂】深度学习实战训练营（5期）描述：6年口碑积累，120+小时超丰富内容体系大课，完整涵盖“深度神经网络+计算机视觉(生成对抗网络+卷积网络)+自然语言处理(循环网络+Transformer)+大语言模型+深度架构落地技巧+企业级实战案例”【6大模块】，零基础直达论文发水平，就业&毕设&竞赛一步到位！。链接：https://www.aliyundrive.com/s/hKEnvwGaRXF大小：未统计标签：#学习#知识#课程来自：雷锋版权：频道：@shareAliyun群组：@aliyundriveShare投稿：@aliyun_share_bot

torchtune：用 PyTorch 轻松微调大语言模型

：用PyTorch轻松微调大语言模型PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。torchtune与HuggingFaceHub、PyTorchFSDP、Weights&Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。