作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF

作为当下最受欢迎的开源AI大模型解决方案，GitHub上一个开源项目Colossal-AI建立了一整套完整的RLHF流程，包括：监督数据集收集->监督微调->奖励模型训练->强化学习微调。并且，技术团队以LLaMA为基础预训练模型，正式推出了ColossalChat，这也是目前最接近ChatGPT原始技术方案的实用开源项目。该项目包括但不限于以下功能：-Demo：可直接在线体验模型效果，无需注册或waitinglist；-训练代码：开源完整RLHF训练代码，已开源至含7B和13B两种模型；-数据集：开源104K中、英双语数据集；-推理部署：4bit量化推理70亿参数模型仅需4GB显存；-模型权重：仅需单台服务器少量算力即可快速复现；-更大规模模型、数据集、其他优化等将保持高速迭代添加。目前，相关代码已开源至GitHub，感兴趣的同学可以看下。项目还有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发。

AIGC（AI-Generated Content 人工智能生成内容）是当前 AI 领域最热门的话题之一。尤其是伴随着 Stab

AIGC（AI-GeneratedContent人工智能生成内容）是当前AI领域最热门的话题之一。尤其是伴随着StableDiffusion、DALL-E等代表的文本生成图像的跨模态应用涌现，AIGC更是火爆出圈，广受关注。但是，高昂的硬件需求和训练成本仍严重阻碍着AIGC行业的快速发展。AIGC应用的出色表现通常建立在GPT-3或StableDiffusion等大模型之上，并针对特定下游任务和应用进行微调。如何更好、更快和更便宜地实现训练、微调AIGC模型，已成为AIGC商业化和应用爆发的最大痛点。近日，GitHub上一款深度学习系统Colossal-AI，开源了完整StableDiffusion预训练和个性化微调方案，将预训练时间加速和经济成本降低6.5倍，个性化微调硬件成本降低7倍！借助此项目，普通开发者即可在个人电脑的RTX2070/3050上，快速完成微调任务流程，让StableDiffusion等AIGC模型触手可及。目前，该技术解决方案已在GitHub开源。此外，项目中有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能

a16z近期公布了他们的开源AI资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能构建的模型和社区。第二期有7个项目：：一个在任何云上运行LLMs、AI和批处理作业的框架，提供最大的成本节省、最高的GPU可用性和托管执行。主要能力有：在任何云上启动作业和集群、排队并运行多个作业，自动管理、轻松访问对象存储、自动选择最便宜的云服务。：用于微调LLMs的工具，支持多种配置和架构。工具支持：训练各种Huggingface模型，如llama、pythia等、支持全面微调、lora、qlora、relora和gptq多种训练方式、使用简单的yaml文件或CLI覆盖自定义配置等。还有很多其他特性。：开源模型、系统和评估平台。开源了LLM用的数据集，还有一个LLM模型。最著名的还是通过ELO算法和机制评估LLM质量的项目，这种人工评分的机制比一些数据集的评价方法更加可以反应人类对于LLM质量的判断。：用于训练许多LLMs的开放网络爬取数据存储库。这是一个从2007年就开始收集的互联网语聊数据库，他们会定期抓取，你可以免费下载所有数据用来训练模型。GPT-382%的训练语料来自这个项目。：开源多模态模型（语言和视觉）。端到端训练的大型多模态模型，连接了一个视觉编码器和LLM，用于通用的视觉和语言理解。现在最新的是LLaVA1.5版本，只是对原始LLaVA进行简单修改，利用了所有公开数据，在单个8-A100节点上约1天内完成训练。：AI动画的平台和开源社区，是一种AI生成动画的方式。Deforum的WebUI插件和Discord社区都是他们在维护。：高影响力AI模型的开放实现。PhilWang，也以其在线昵称“lucidrains”而闻名，在AI和机器学习领域是一位杰出人物。以在PyTorch框架中实现各种有趣的AI模型和论文而闻名。他的工作包括VisionTransformer、DALL-E2、Imagen和MusicLM等的实现。

微软在 GitHub 开源的一套 AI 工具，可用于简化大模型应用的开发周期。

微软在GitHub开源的一套AI工具，可用于简化大模型应用的开发周期。打通了从项目构思、原型设计、测试、评估到生产部署和监控的全流程，让开发者可以快速构建出高质量的大语言模型应用。项目配套了「提示流入门教程」、「跟PDF对话聊天」等详细的技术文档与指南，帮助你快速上手技术。通过快速流程，你能够：1.创建并迭代开发流程：创建将LLM、提示、Python代码和其他工具链接在一起的可执行流程。轻松调试和迭代您的流程，尤其是与法学硕士的交互。2.评估流量质量和性能使用更大的数据集评估流程的质量和性能。将测试和评估集成到CI/CD系统中，以确保流程的质量。3.简化生产开发周期将流程部署到你选择的服务平台或轻松集成到应用程序的代码库中。（可选，但强烈推荐）利用AzureAI中的云版本提示流与你的团队协作。#工具

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。近日，Colossal-AI团队充分利用了LLaMA-2的基础能力，采用高效的训练方法，仅使用约8.5Btoken数据、15小时、数千元的训练成本，成功构建了性能卓越的中文LLaMA-2，在多个评测榜单性能优越。相较于原始LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同规模预训练SOTA模型媲美。该项目在GitHub完全开源了全套训练流程、代码及权重，无商用限制，并提供了一个完整的评估体系框架ColossalEval，以实现低成本的可复现性。不仅如此，相关方案还可迁移应用到任意垂类领域，以及从头预训练大模型的低成本构建。

百度技术团队在 GitHub 开源的一套丰富且实用的 #OCR 工具库：PaddleOCR，可帮助开发者快速集成 OCR 功能。

百度技术团队在GitHub开源的一套丰富且实用的#OCR工具库：，可帮助开发者快速集成OCR功能。近期该项目发布了功能更新，主要如下：-优化了超轻量OCR系统PP-OCR效果；-新增表格文字、不规则文字等复杂OCR任务的标注工具；-打通22种OCR不同训练部署软硬件环境与方式；-发布首本交互式OCR全栈电子书《动手学OCR》。针对此项目，开发者将开放3场公开课，主讲OCR技术解析、AI模型训练部署实践、OCR技术产业应用案例、落地方案分享等内容。直播时间：5.11-5.13，每晚20:30