语言模型的神奇之处，尽管只针对英语进行了训练，模型却能理解非英语的指令。

语言模型的神奇之处，尽管只针对英语进行了训练，模型却能理解非英语的指令。 Jan Leike: With the InstructGPT paper we found that our models generalized to follow instructions in non-English even though we almost exclusively trained on English. We still don't know why. I wish someone would figure this out.

：一个513M参数的多语种语言模型，能理解和遵循101种语言的指令。

：一个513M参数的多语种语言模型，能理解和遵循101种语言的指令。 Aya数据集是迄今为止最全面的多语种指令微调数据集，包含114种语言的5.13亿个提示和补全，完全开源。它为自然语言理解、摘要和翻译任务中的未服务语言提供了基础。

Databricks 发布开源指令微调大语言模型 Dolly 2.0

Databricks 发布开源指令微调大语言模型 Dolly 2.0 Databricks 公司两周前发布了它的指令遵循（instruction-following）大语言模型 Dolly，本周三它发布了可授权商业使用的开源指令微调大语言模型。Dolly 2.0 有 120 亿参数，基于 EleutherAI pythia 模型家族，使用高质量的人类生成的指令遵循数据集进行微调。Databricks 开源了 Dolly 2.0 的整个系统，包括训练代码、数据集和模型权重，全都适合商业使用。而目前开源社区流行的 LLaMA 衍生模型使用的是非商业使用授权。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

：赋予大型预训练语言模型遵循复杂指令的能力

：赋予大型预训练语言模型遵循复杂指令的能力 遵循指令的能力对大部分开源大语言模型来说是一个独特的挑战。该项目提出的解决方案是使用LLM本身来生成指令数据。 研究人员开发的Evol-Instruct方法随机选择不同类型的进化操作来将简单指令升级为更复杂的指令，或者创建全新的指令。然后使用进化的指令数据来微调LLM，从而创建WizardLM。