：一个513M参数的多语种语言模型，能理解和遵循101种语言的指令。

：一个513M参数的多语种语言模型，能理解和遵循101种语言的指令。 Aya数据集是迄今为止最全面的多语种指令微调数据集，包含114种语言的5.13亿个提示和补全，完全开源。它为自然语言理解、摘要和翻译任务中的未服务语言提供了基础。

语言模型的神奇之处，尽管只针对英语进行了训练，模型却能理解非英语的指令。

语言模型的神奇之处，尽管只针对英语进行了训练，模型却能理解非英语的指令。 Jan Leike: With the InstructGPT paper we found that our models generalized to follow instructions in non-English even though we almost exclusively trained on English. We still don't know why. I wish someone would figure this out.

是一个15.5B参数模型，使用80多种编程语言的GitHub代码进行训练。

是一个15.5B参数模型，使用80多种编程语言的GitHub代码进行训练。 该模型采用了多查询注意力和8192个Token的上下文窗口，使用了1万亿个Token的填充中间目标进行训练。可用于生成代码片段，但生成的代码不保证有效、没有漏洞或不包含漏洞 |