微软研究院发布了Orca 2 LLM 其性能可媲美大语言模型
微软研究院发布了Orca2LLM其性能可媲美大语言模型微软在一篇博文中表示,Orca2是专为小规模LM设计的,但仍可用于回答LLM等复杂问题。Orca2有两种大小(70亿和130亿个参数),部分是利用今年早些时候微软帮助Meta推出的Llama2LLM制作的。该公司"根据量身定制的高质量合成数据"对基于Llama2的模型进行了微调。微软表示,这使得Orca2模型在处理问题时能够与其他"5-10倍大"的语言模型相媲美:Orca2使用扩展的、高度定制的合成数据集进行训练。这些训练数据的生成,向Orca2传授了各种推理技术,如逐步处理法、回忆然后生成法、回忆-推理-生成法、提取-生成法和直接回答法,同时还教会它针对不同的任务选择不同的解决策略。Orca2模型与Llama2和WizardLM等大型语言模型进行了一系列基准测试,测试内容包括"语言理解、常识推理、多步骤推理、数学问题解决、阅读理解"等。微软官方博客称:我们的初步测试结果表明,Orca2的性能大大超越了类似规模的模型。它还达到了类似或优于至少比它大10倍的模型的性能水平,展示了为更小的模型配备更好的推理能力的潜力。虽然微软承认Orca2确实存在局限性,但迄今为止的测试显示了"未来进步的潜力"。微软将把Orca2作为一个开源项目发布,以便其他人也能对其进行开发。...PC版:https://www.cnbeta.com.tw/articles/soft/1398829.htm手机版:https://m.cnbeta.com.tw/view/1398829.htm