Microsoft准备推出更大更强的紧凑型语言模型Phi-2

Microsoft准备推出更大更强的紧凑型语言模型Phi-2Microsoft最近在其研究博客中宣布,其最新的紧凑型“小型语言模型”Phi-2,相比于前代产品Phi1.5大小增大了一倍,但性能依然出色。Phi-2是微软Phi模型系列中的最新成员,这些模型专注于使用仅包含“教科书质量”般的更小数据集进行训练。微软表示,尽管Phi-2的数据规模较小,但它在性能上与某些更大的开源Llama2模型相当,甚至会更好,其中一些模型拥有高达130亿参数。投稿:@TNSubmbot频道:@TestFlightCN

相关推荐

封面图片

微软:Phi-2模型性能优于竞争对手 可在设备上运行

微软:Phi-2模型性能优于竞争对手可在设备上运行“值得注意的是,Phi-2模型在多步推理任务(即编码和数学)上的表现优于参数达700亿的Llama2(Llama2模型系列包含70亿、130亿和700亿三种参数变体)。”微软补充称:“此外,Phi-2模型的性能与最近发布的谷歌GeminiNano2相当、甚至更好,尽管模型规模较小。”微软表示,Phi-2模型将在AzureStudio中推出。据悉,微软于今年6月发布只有13亿参数的Phi-1模型,适用于QA问答、聊天格式和代码等等场景。该模型完全基于高质量数据进行训练,在基准测试中的表现比同类模型高出10倍。微软今年9月更新发布了Phi-1.5版本,同样为13亿参数,可以写诗、写电子邮件和故事,以及总结文本。在常识、语言理解和推理的基准测试中,该模型在某些领域能够跟上多达100亿个参数的模型。微软在11月更新发布的Phi-2规模虽然比此前版本翻番,但相比较其它主流语言模型依然小很多。微软表示,Phi-2在逻辑推理和安全性方面显示出显著的改进,通过正确的微调和定制,小型语言模型是云和边缘应用程序的强大工具。...PC版:https://www.cnbeta.com.tw/articles/soft/1404019.htm手机版:https://m.cnbeta.com.tw/view/1404019.htm

封面图片

微软:Phi-2 模型性能优于竞争对手 可在设备上运行

微软:Phi-2模型性能优于竞争对手可在设备上运行微软周二表示,其人工智能模型Phi-2的性能好于Meta等其他公司的竞争产品,并且能够在设备上运行。微软在一篇博客中表示:“Phi-2模型仅有27个参数,但在各种综合基准测试中,它的表现超过了欧洲AI初创公司Mistral旗下拥有70亿个参数的大语言模型(LLM)Mistral7B、以及Meta发布的参数达130亿个的AI模型Llama2。”“值得注意的是,Phi-2模型在多步推理任务(即编码和数学)上的表现优于参数达700亿的Llama2(Llama2模型系列包含70亿、130亿和700亿三种参数变体)。”

封面图片

微软推出其规模最小的人工智能模型 Phi-3

微软推出其规模最小的人工智能模型Phi-3该公司于12月发布了Phi-2,其性能与Llama2等更大的型号不相上下。微软表示,Phi-3的性能比前一版本更好,其响应速度接近比它大10倍的机型。微软Azure人工智能平台公司副总裁埃里克-博伊德(EricBoyd)介绍说,Phi-3Mini的性能与GPT-3.5等LLM不相上下,"只是外形尺寸更小而已"。与体积较大的同类,小型人工智能模型的运行成本通常更低,在手机和笔记本电脑等个人。据TheInformation今年早些时候报道,微软正在组建一个专门研究轻量级人工智能模型的团队。除了Phi,该公司还建立了一个专注于解决数学问题的模型Orca-Math。微软的竞争对手也有自己的小型人工智能模型,它们大多针对文档摘要或编码辅助等较简单的任务。Google的Gemma2B和7B适合简单的聊天机器人和语言相关工作。Anthropic的Claude3Haiku可以阅读带图表的高密度研究论文并快速总结,而Meta最近发布的Llama38B可能会用于一些聊天机器人和编码辅助工作。博伊德说,开发人员用"课程"来训练Phi-3。他们的灵感来自于儿童是如何从睡前故事、单词较简单的书籍以及谈论较大主题的句子结构中学习的。Phi-3只是在前几个迭代学习的基础上更进一步。Phi-1专注于编码,Phi-2开始学习推理,而Phi-3则更擅长编码和推理。虽然Phi-3系列模型知道一些常识,但它在广度上无法击败GPT-4或其他LLM--从一个在整个互联网上接受过训练的LLM和一个像Phi-3这样的小型模型中得到的答案差别很大。Boyd说,公司经常发现,像Phi-3这样的小型机型更适合他们的定制应用,因为对于很多公司来说,他们的内部数据集无论如何都会偏小。而且,由于这些型号使用的计算能力较低,它们的价格往往要低得多。...PC版:https://www.cnbeta.com.tw/articles/soft/1428349.htm手机版:https://m.cnbeta.com.tw/view/1428349.htm

封面图片

【Meta和Microsoft联手推出开源大型语言模型Llama 2】

【Meta和Microsoft联手推出开源大型语言模型Llama2】2023年07月19日10点52分7月19日消息,Meta和Microsoft联手推出开源大型语言模型Llama2,将在Microsoft的Windows和云计算平台Azure上运行。Llama2免费用于研究和商业用途,同时还针对在Windows上运行进行了优化。Meta称Llama2接受的公开在线数据源的训练量比Llama1多40%,处理的上下文量是Llama1的两倍。

封面图片

英特尔在整个CPU和GPU产品组合中为微软Phi-3 AI模型做好了准备

英特尔在整个CPU和GPU产品组合中为微软Phi-3AI模型做好了准备在讨论细节之前,我们先来看看微软的Phi-3开放模型系列。该公司的新GenAI模型侧重于在更小、更高效的层面上提供功能,偏离了行业规范。有了Phi-3,我们可以看到小语言模型(SLM)的出现,它是处理能力有限的低功耗设备的理想选择。英特尔已成为首批在其产品阵容中支持SLM的硬件制造商之一,现在英特尔的GaudiAI加速器、至强和酷睿UltraCPU以及英特尔的ArcGPU(独立和集成)都已优化,以支持微软的Phi-3型号。英特尔公司副总裁兼数据中心与人工智能软件部总经理PallaviMahajan介绍说:"我们利用业内最新的人工智能模型和软件,为客户和开发人员提供强大的人工智能解决方案。与人工智能软件生态系统中的其他领导者(如微软)积极合作,是让人工智能无处不在的关键。我们很荣幸能与微软密切合作,确保英特尔硬件(涵盖数据中心、边缘和客户端)积极支持几种新的Phi-3模型。"微软发布了多个Phi-3GenAI模型,并根据各自的参数进行了分类。这些型号包括迷你型、小型和中型;有趣的是,英特尔展示了其所有开放型号产品的性能。从英特尔第六代至强CPU(GraniteRapids)开始,该公司对Phi-3中型4k和128k变体进行了基准测试,与第五代至强(EmeraldRapids)相比,该平台的性能提高了2倍。谈到英特尔的酷睿UltraCPU平台,该公司表示,Phi-3型号将催化边缘人工智能进程,并将提供"个性化和响应速度"等多项优势。为此,该公司用英特尔酷睿Ultra7165H对Phi-3mini机型进行了测试,板载的独立GPU为ArcA770,基准测试确实显示出令人印象深刻的性能和词元生成延迟。微软Phi-3人工智能模型的首次亮相确实将为个性化人工智能计算时代打开新的大门,而凭借现代处理器所拥有的性能,运行这样的模型完全不是问题。...PC版:https://www.cnbeta.com.tw/articles/soft/1432319.htm手机版:https://m.cnbeta.com.tw/view/1432319.htm

封面图片

创见推出 MTS570P 紧凑型 SSD:配断电保护、112 层堆叠闪存

创见推出MTS570P紧凑型SSD:配断电保护、112层堆叠闪存https://www.ithome.com/0/752/268.htmMTS570P重点配备了断电保护(PLP)功能,当系统无预警断电时,内置钽质电容可持续供电给控制器与DRAM,确保供电不稳的情况下数据仍能完整储存。MTS570P搭载SATAIII6Gb/s传输接口,并采用最新一代3DNAND技术,可堆叠高达112层闪存,达到更高的储存效益

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人