国人在GitHub开源的一个 #深度学习 系统：，可用于AI大规模并行训练。仅需一半数量的GPU，便能完成相同效果的GPT-3训

国人在GitHub开源的一个 #深度学习 系统：，可用于AI大规模并行训练。仅需一半数量的GPU，便能完成相同效果的GPT-3训练工作，极大降低了项目研发成本！ 该项目创始人，同时也是LAMB优化器的提出者尤洋教授，在Google实习期间，曾凭借LAMB，打破了BERT预训练世界纪录

作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF

作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF 流程，包括：监督数据集收集 -> 监督微调 -> 奖励模型训练 -> 强化学习微调。 并且，技术团队以 LLaMA 为基础预训练模型，正式推出了 ColossalChat，这也是目前最接近 ChatGPT 原始技术方案的实用开源项目。 该项目包括但不限于以下功能： - Demo：可直接在线体验模型效果，无需注册或 waitinglist； - 训练代码：开源完整 RLHF 训练代码，已开源至含 7B 和 13B 两种模型； - 数据集：开源 104K 中、英双语数据集； - 推理部署：4bit 量化推理 70 亿参数模型仅需 4GB 显存； - 模型权重：仅需单台服务器少量算力即可快速复现； - 更大规模模型、数据集、其他优化等将保持高速迭代添加。 目前，相关代码已开源至 GitHub，感兴趣的同学可以看下。 项目还有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发。 |||||

ColossalAI，一个大模型深度学习系统，提供了一系列开发工具，让分布式 AI 模型训练流程变得更加简单。项目有完整的中文教

ColossalAI，一个大模型深度学习系统，提供了一系列开发工具，让分布式 AI 模型训练流程变得更加简单。项目有完整的中文教程 另外，该项目近期已无缝支持 Hugging Face，开发者仅需添加几行代码，便可实现大模型的低成本训练和微调。 ||

国人在 GitHub 开源的一个项目：Colossal-AI，仅需极少量修改，即可让现有深度学习，在单张消费级显卡上，完成大

国人在 GitHub 开源的一个项目：Colossal-AI，仅需极少量修改，即可让现有深度学习项目，在单张消费级显卡上，完成大模型训练，极大降低了项目研发成本！ 简而言之，有了这个开源项目后，每个人都可以在家训练 AI 大模型！尤其是大幅度降低了 AI 大模型微调、推理等下游任务和应用部署的门槛

AIGC（AI-Generated Content 人工智能生成内容）是当前 AI 领域最热门的话题之一。尤其是伴随着 Stab

AIGC（AI-Generated Content 人工智能生成内容）是当前 AI 领域最热门的话题之一。尤其是伴随着 Stable Diffusion、DALL-E 等代表的文本生成图像的跨模态应用涌现，AIGC 更是火爆出圈，广受关注。 但是，高昂的硬件需求和训练成本仍严重阻碍着 AIGC 行业的快速发展。AIGC 应用的出色表现通常建立在 GPT-3 或 Stable Diffusion 等大模型之上，并针对特定下游任务和应用进行微调。 如何更好、更快和更便宜地实现训练、微调 AIGC 模型，已成为 AIGC 商业化和应用爆发的最大痛点。 近日，GitHub 上一款深度学习系统 Colossal-AI，开源了完整 Stable Diffusion 预训练和个性化微调方案，将预训练时间加速和经济成本降低 6.5 倍，个性化微调硬件成本降低 7 倍！ 借助此项目，普通开发者即可在个人电脑的 RTX 2070/3050 上，快速完成微调任务流程，让 Stable Diffusion 等 AIGC 模型触手可及。目前，该技术解决方案已在 GitHub 开源。 此外，项目中有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发 |||||

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能构建的模型和社区。第二期有7 个项目： ：一个在任何云上运行LLMs、AI和批处理作业的框架，提供最大的成本节省、最高的GPU可用性和托管执行。 主要能力有：在任何云上启动作业和集群、排队并运行多个作业，自动管理、轻松访问对象存储、自动选择最便宜的云服务。 ：用于微调LLMs的工具，支持多种配置和架构。 工具支持：训练各种Huggingface模型，如llama、pythia等、支持全面微调、lora、qlora、relora和gptq多种训练方式、使用简单的yaml文件或CLI覆盖自定义配置等。还有很多其他特性。 ：开源模型、系统和评估平台。 开源了 LLM 用的数据集，还有一个 LLM 模型。最著名的还是通过 ELO 算法和机制评估 LLM 质量的项目，这种人工评分的机制比一些数据集的评价方法更加可以反应人类对于 LLM 质量的判断。 ：用于训练许多LLMs的开放网络爬取数据存储库。 这是一个从 2007 年就开始收集的互联网语聊数据库，他们会定期抓取，你可以免费下载所有数据用来训练模型。GPT-3 82%的训练语料来自这个项目。 ：开源多模态模型（语言和视觉）。 端到端训练的大型多模态模型，连接了一个视觉编码器和LLM，用于通用的视觉和语言理解。 现在最新的是LLaVA1.5 版本，只是对原始LLaVA进行简单修改，利用了所有公开数据，在单个8-A100节点上约1天内完成训练。 ：AI动画的平台和开源社区，是一种 AI 生成动画的方式。Deforum的 WebUI 插件和 Discord 社区都是他们在维护。 ：高影响力AI模型的开放实现。 Phil Wang，也以其在线昵称“lucidrains”而闻名，在AI和机器学习领域是一位杰出人物。以在PyTorch框架中实现各种有趣的AI模型和论文而闻名。他的工作包括Vision Transformer、DALL-E 2、Imagen和MusicLM等的实现。