一个比较不错的中文大模型解决方案,代码完全开源,无商用限制。
一个比较不错的中文大模型解决方案,代码完全开源,无商用限制。近日,Colossal-AI团队充分利用了LLaMA-2的基础能力,采用高效的训练方法,仅使用约8.5Btoken数据、15小时、数千元的训练成本,成功构建了性能卓越的中文LLaMA-2,在多个评测榜单性能优越。相较于原始LLaMA-2,在成功提升中文能力的基础上,进一步提升其英文能力,性能可与开源社区同规模预训练SOTA模型媲美。该项目在GitHub完全开源了全套训练流程、代码及权重,无商用限制,并提供了一个完整的评估体系框架ColossalEval,以实现低成本的可复现性。不仅如此,相关方案还可迁移应用到任意垂类领域,以及从头预训练大模型的低成本构建。