苹果公司发表四款开源新模型 有助于提高未来人工智能的准确性
苹果公司发表四款开源新模型有助于提高未来人工智能的准确性这些指导模型被称为开源高效LLMs或OpenELMs,托管在协作平台HuggingFace上。HuggingFace用于托管人工智能模型,以及对其进行训练和与他人合作改进。OpenELM是指一个开源库,它利用进化算法将多个大型语言模型(LLM)结合在一起。这四个OpenELM模型采用"分层缩放策略",在变压器机器学习模型的各层中分配参数,以提高精确度。这些模型使用CoreNet库进行了预训练。苹果公司提供了使用2.7亿、4.5亿、11亿和30亿个参数的预训练和指令调整模型。预训练数据集由Dolmav1.6子集、RefinedWeb、重复PILE和RedPajama子集组合而成。这样得到的数据集约有1.8万亿个标记。在本周二发布的一篇相关论文中,该项目的研究人员表示,大型语言模型的可重复性和透明度"对于推进开放式研究至关重要"。它还有助于确保结果的可信度,并允许对模型偏差和风险进行调查。至于模型的准确性,据解释,在使用10亿个参数预算的情况下,OpenELM比OLMo的准确性提高了2.36%,而所需的预训练代币数量仅为OLMo的一半。模型和论文的作者包括SachinMehta、MohammadHosseinSekhavat、QingqingCao、MaxwellHorton、YanziJin、ChenfanSun、ImanMirzadeh、MahyarNajibi、DmitryBelenko、PeterZatloukal和MohammadRastegari。发布这些模型的源代码是苹果公司宣传其人工智能和机器学习发展成果的最新尝试。这并不是苹果公司第一次公开发布人工智能程序。今年10月,苹果分享了一个名为Ferret的开源LLM,它改进了模型分析图像的方式。今年4月,Ferret的新版本增加了解析应用程序截图中数据点的功能,并能大致了解应用程序的功能。此外,还发布了关于生成式人工智能动画工具和创建人工智能头像的论文。预计6月份的WWDC将包括苹果产品在人工智能方面的许多进展。...PC版:https://www.cnbeta.com.tw/articles/soft/1428512.htm手机版:https://m.cnbeta.com.tw/view/1428512.htm