：用于大规模语言模型(LLM)训练的原生PyTorch库

快手：正开展大规模语言模型相关研究内地短视频平台表示，公司目前正开展大规模语言模型相关研究，并启动相应事项，覆盖相关模型训练

：开源代码语言模型，包含了英语和中文两种语言版本的代码生成模型。模型经过大规模训练，训练数据中87%为代码数据，13%为自然语言

大规模信息提取语料库，用于训练和评估信息提取模型#语料库

CodeGeeX：这是一个具有130亿参数的大规模多语言代码生成模型，开源版的copilot，CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。支持生成Python、C++、Java、JaScript和Go等多种主流编程语言的代码​​​

Yandex开源大型语言模型训练工具YaFSDP跨国科技公司Yandex最近推出了用于训练大型语言模型的开源方法YaFSDP。Y