国人在GitHub开源的一个 #深度学习 系统：，可用于AI大规模并行训练。仅需一半数量的GPU，便能完成相同效果的GPT-3训

国人在GitHub开源的一个 #深度学习 系统：，可用于AI大规模并行训练。仅需一半数量的GPU，便能完成相同效果的GPT-3训练工作，极大降低了项目研发成本！ 该项目创始人，同时也是LAMB优化器的提出者尤洋教授，在Google实习期间，曾凭借LAMB，打破了BERT预训练世界纪录

作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF

作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF 流程，包括：监督数据集收集 -> 监督微调 -> 奖励模型训练 -> 强化学习微调。 并且，技术团队以 LLaMA 为基础预训练模型，正式推出了 ColossalChat，这也是目前最接近 ChatGPT 原始技术方案的实用开源项目。 该项目包括但不限于以下功能： - Demo：可直接在线体验模型效果，无需注册或 waitinglist； - 训练代码：开源完整 RLHF 训练代码，已开源至含 7B 和 13B 两种模型； - 数据集：开源 104K 中、英双语数据集； - 推理部署：4bit 量化推理 70 亿参数模型仅需 4GB 显存； - 模型权重：仅需单台服务器少量算力即可快速复现； - 更大规模模型、数据集、其他优化等将保持高速迭代添加。 目前，相关代码已开源至 GitHub，感兴趣的同学可以看下。 项目还有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发。 |||||

ColossalAI，一个大模型深度学习系统，提供了一系列开发工具，让分布式 AI 模型训练流程变得更加简单。项目有完整的中文教

ColossalAI，一个大模型深度学习系统，提供了一系列开发工具，让分布式 AI 模型训练流程变得更加简单。项目有完整的中文教程 另外，该项目近期已无缝支持 Hugging Face，开发者仅需添加几行代码，便可实现大模型的低成本训练和微调。 ||

国人在 GitHub 开源的一个项目：Colossal-AI，仅需极少量修改，即可让现有深度学习，在单张消费级显卡上，完成大

国人在 GitHub 开源的一个项目：Colossal-AI，仅需极少量修改，即可让现有深度学习项目，在单张消费级显卡上，完成大模型训练，极大降低了项目研发成本！ 简而言之，有了这个开源项目后，每个人都可以在家训练 AI 大模型！尤其是大幅度降低了 AI 大模型微调、推理等下游任务和应用部署的门槛

AIGC（AI-Generated Content 人工智能生成内容）是当前 AI 领域最热门的话题之一。尤其是伴随着 Stab

AIGC（AI-Generated Content 人工智能生成内容）是当前 AI 领域最热门的话题之一。尤其是伴随着 Stable Diffusion、DALL-E 等代表的文本生成图像的跨模态应用涌现，AIGC 更是火爆出圈，广受关注。 但是，高昂的硬件需求和训练成本仍严重阻碍着 AIGC 行业的快速发展。AIGC 应用的出色表现通常建立在 GPT-3 或 Stable Diffusion 等大模型之上，并针对特定下游任务和应用进行微调。 如何更好、更快和更便宜地实现训练、微调 AIGC 模型，已成为 AIGC 商业化和应用爆发的最大痛点。 近日，GitHub 上一款深度学习系统 Colossal-AI，开源了完整 Stable Diffusion 预训练和个性化微调方案，将预训练时间加速和经济成本降低 6.5 倍，个性化微调硬件成本降低 7 倍！ 借助此项目，普通开发者即可在个人电脑的 RTX 2070/3050 上，快速完成微调任务流程，让 Stable Diffusion 等 AIGC 模型触手可及。目前，该技术解决方案已在 GitHub 开源。 此外，项目中有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发 |||||

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。 近日，Colossal-AI 团队充分利用了 LLaMA-2 的基础能力，采用高效的训练方法，仅使用约 8.5B token 数据、15 小时、数千元的训练成本，成功构建了性能卓越的中文 LLaMA-2，在多个评测榜单性能优越。 相较于原始 LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同规模预训练 SOTA 模型媲美。 该项目在 GitHub 完全开源了全套训练流程、代码及权重，无商用限制，并提供了一个完整的评估体系框架 ColossalEval，以实现低成本的可复现性。 不仅如此，相关方案还可迁移应用到任意垂类领域，以及从头预训练大模型的低成本构建。 |