微软研究院发布了Orca 2 LLM 其性能可媲美大语言模型

微软研究院发布了Orca2LLM其性能可媲美大语言模型微软在一篇博文中表示,Orca2是专为小规模LM设计的,但仍可用于回答LLM等复杂问题。Orca2有两种大小(70亿和130亿个参数),部分是利用今年早些时候微软帮助Meta推出的Llama2LLM制作的。该公司"根据量身定制的高质量合成数据"对基于Llama2的模型进行了微调。微软表示,这使得Orca2模型在处理问题时能够与其他"5-10倍大"的语言模型相媲美:Orca2使用扩展的、高度定制的合成数据集进行训练。这些训练数据的生成,向Orca2传授了各种推理技术,如逐步处理法、回忆然后生成法、回忆-推理-生成法、提取-生成法和直接回答法,同时还教会它针对不同的任务选择不同的解决策略。Orca2模型与Llama2和WizardLM等大型语言模型进行了一系列基准测试,测试内容包括"语言理解、常识推理、多步骤推理、数学问题解决、阅读理解"等。微软官方博客称:我们的初步测试结果表明,Orca2的性能大大超越了类似规模的模型。它还达到了类似或优于至少比它大10倍的模型的性能水平,展示了为更小的模型配备更好的推理能力的潜力。虽然微软承认Orca2确实存在局限性,但迄今为止的测试显示了"未来进步的潜力"。微软将把Orca2作为一个开源项目发布,以便其他人也能对其进行开发。...PC版:https://www.cnbeta.com.tw/articles/soft/1398829.htm手机版:https://m.cnbeta.com.tw/view/1398829.htm

相关推荐

封面图片

微软:Phi-2 模型性能优于竞争对手 可在设备上运行

微软:Phi-2模型性能优于竞争对手可在设备上运行微软周二表示,其人工智能模型Phi-2的性能好于Meta等其他公司的竞争产品,并且能够在设备上运行。微软在一篇博客中表示:“Phi-2模型仅有27个参数,但在各种综合基准测试中,它的表现超过了欧洲AI初创公司Mistral旗下拥有70亿个参数的大语言模型(LLM)Mistral7B、以及Meta发布的参数达130亿个的AI模型Llama2。”“值得注意的是,Phi-2模型在多步推理任务(即编码和数学)上的表现优于参数达700亿的Llama2(Llama2模型系列包含70亿、130亿和700亿三种参数变体)。”

封面图片

帮开发者构建生成式 AI 应用,Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式AI应用,Meta和微软合作推出开源模型Llama2Meta和微软近日合作推出Llama2,这是Meta公司的下一代开源大型语言模型,可以免费用于研究和商业用途。微软在新闻稿中表示,Llama2旨在帮助开发者和组织,构建生成式人工智能工具和体验。Azure客户可以在Azure平台上更轻松、更安全地微调和部署7B、13B和70B参数的Llama2模型,此外通过优化可以在Windows本地运行。Llama2模型与AzureAI的结合使开发人员能够利用AzureAI的强大工具进行模型训练、微调、推理,特别是支持AI安全的功能。微软表示在Windows中加入Llama2模型,有助于推动Windows成为开发人员根据客户需求构建人工智能体验的最佳场所,并释放他们使用WindowsSubsystemforLinux(WSL)、Windows终端、MicrosoftVisualStudio和VSCode等世界级工具进行构建的能力。——、、

封面图片

微软:Phi-2模型性能优于竞争对手 可在设备上运行

微软:Phi-2模型性能优于竞争对手可在设备上运行“值得注意的是,Phi-2模型在多步推理任务(即编码和数学)上的表现优于参数达700亿的Llama2(Llama2模型系列包含70亿、130亿和700亿三种参数变体)。”微软补充称:“此外,Phi-2模型的性能与最近发布的谷歌GeminiNano2相当、甚至更好,尽管模型规模较小。”微软表示,Phi-2模型将在AzureStudio中推出。据悉,微软于今年6月发布只有13亿参数的Phi-1模型,适用于QA问答、聊天格式和代码等等场景。该模型完全基于高质量数据进行训练,在基准测试中的表现比同类模型高出10倍。微软今年9月更新发布了Phi-1.5版本,同样为13亿参数,可以写诗、写电子邮件和故事,以及总结文本。在常识、语言理解和推理的基准测试中,该模型在某些领域能够跟上多达100亿个参数的模型。微软在11月更新发布的Phi-2规模虽然比此前版本翻番,但相比较其它主流语言模型依然小很多。微软表示,Phi-2在逻辑推理和安全性方面显示出显著的改进,通过正确的微调和定制,小型语言模型是云和边缘应用程序的强大工具。...PC版:https://www.cnbeta.com.tw/articles/soft/1404019.htm手机版:https://m.cnbeta.com.tw/view/1404019.htm

封面图片

Awesome-LLM-SoftwareTesting:关于在软件测试中使用大型语言模型 (LLM) 的论文和资源的集合。

:关于在软件测试中使用大型语言模型(LLM)的论文和资源的集合。LLM已成为自然语言处理和人工智能领域的突破性技术。这些模型能够执行各种与编码相关的任务,包括代码生成和代码推荐。因此,在软件测试中使用LLM预计会产生显着的改进。一方面,软件测试涉及诸如单元测试生成之类的任务,这些任务需要代码理解和生成。另一方面,LLM可以生成多样化的测试输入,以确保全面覆盖正在测试的软件。此存储库对LLM在软件测试中的运用进行了全面回顾,收集了102篇相关论文,并从软件测试和法学硕士的角度进行了全面的分析。

封面图片

Petals,一个可以让多人协作运行 Llama 和 BLOOM 等大型语言模型的项目

,一个可以让多人协作运行Llama和BLOOM等大型语言模型的项目使用Llama2(70B),Falcon(180B),BLOOM(176B)(或其衍生版本)生成文本,并针对任务进行微调,可使用消费级GPU或GoogleColab。你可以加载模型的一小部分,然后加入一个网络,由其他人提供其余部分。Llama2(70B)的单批量推理速度可达6个标记/秒,Falcon(180B)的单批量推理速度可达4个标记/秒,足以用于聊天机器人和交互应用程序。

封面图片

微软研究院删除WizardLM模型 原因是发布几个月竟忘记做毒性测试

微软研究院删除WizardLM模型原因是发布几个月竟忘记做毒性测试比较搞笑的是这个模型发布没多久就被删除,原因是微软内部似乎对发布的AI模型有标准流程,需要经过一系列测试后才能发布。而WizardLM从几个月前发布到现在都没有进行毒性测试,该测试主要是测试模型中是否会生成一些不合规的内容,直到WizardLM2发布时微软研究院才发现错过了一些发布流程。所以现在整个WizardLM项目已经从GitHub上删除,同时Huggingface上的WizardLM主页也被清空,暂时不再提供WizardLM和WizardLM2下载。当然这也不是太大的问题,如果能通过毒性测试的话,这个模型很快就会重新发布,到时候GitHub和Huggingface上的主页也会恢复。GitHub:https://wizardlm.github.io/Huggingface:https://huggingface.co/WizardLM...PC版:https://www.cnbeta.com.tw/articles/soft/1427667.htm手机版:https://m.cnbeta.com.tw/view/1427667.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人