：用 PyTorch 轻松微调大语言模型

：用 PyTorch 轻松微调大语言模型 PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。 torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。 torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。 torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。

：易于使用的 PyTorch 库，可轻松编写、微调和实验LLM模型。

：易于使用的 PyTorch 库，可轻松编写、微调和实验LLM模型。 该库提供了多种功能，包括使用 native-PyTorch 实现的流行语言模型，支持各种格式的复原，以及提供训练和评估工具，例如 HF 格式的检查点支持。

苹果公司发表四款开源新模型 有助于提高未来人工智能的准确性

苹果公司发表四款开源新模型 有助于提高未来人工智能的准确性 这些指导模型被称为开源高效 LLMs 或 OpenELMs，托管在协作平台 Hugging Face 上。Hugging Face 用于托管人工智能模型，以及对其进行训练和与他人合作改进。OpenELM 是指一个开源库，它利用进化算法将多个大型语言模型 (LLM) 结合在一起。这四个 OpenELM 模型采用"分层缩放策略"，在变压器机器学习模型的各层中分配参数，以提高精确度。这些模型使用 CoreNet 库进行了预训练。苹果公司提供了使用 2.7 亿、4.5 亿、11 亿和 30 亿个参数的预训练和指令调整模型。预训练数据集由 Dolma v1.6 子集、RefinedWeb、重复 PILE 和 RedPajama 子集组合而成。这样得到的数据集约有 1.8 万亿个标记。在本周二发布的一篇相关论文中，该项目的研究人员表示，大型语言模型的可重复性和透明度"对于推进开放式研究至关重要"。它还有助于确保结果的可信度，并允许对模型偏差和风险进行调查。至于模型的准确性，据解释，在使用 10 亿个参数预算的情况下，OpenELM 比 OLMo 的准确性提高了 2.36%，而所需的预训练代币数量仅为 OLMo 的一半。模型和论文的作者包括 Sachin Mehta、Mohammad Hossein Sekhavat、Qingqing Cao、Maxwell Horton、Yanzi Jin、Chenfan Sun、Iman Mirzadeh、Mahyar Najibi、Dmitry Belenko、Peter Zatloukal 和 Mohammad Rastegari。发布这些模型的源代码是苹果公司宣传其人工智能和机器学习发展成果的最新尝试。这并不是苹果公司第一次公开发布人工智能程序。今年10 月，苹果分享了一个名为 Ferret 的开源 LLM，它改进了模型分析图像的方式。今年 4 月，Ferret 的新版本增加了解析应用程序截图中数据点的功能，并能大致了解应用程序的功能。此外，还发布了关于生成式人工智能动画工具和创建人工智能头像的论文。预计 6 月份的 WWDC 将包括苹果产品在人工智能方面的许多进展。 ... PC版： 手机版：

OpenAI的“企业年”包括提高人工智能准确性的新工具

OpenAI的“企业年”包括提高人工智能准确性的新工具 OpenAI API 于 2020 年推出，允许公司在其大型语言模型的基础上进行连接和构建，随后于去年 8 月开放了 GPT-3.5 的微调功能，最终还将开放GPT-4。高度定制的模型可以在内部提供更好的结果。它们还能使对公众的回复保持在正轨上，避免出现像由ChatGPT 支持的雪佛兰经销商的机器人说它会以 1 美元的价格卖出一辆车那样的尴尬情况。今天，OpenAI 首席运营官 Brad Lightcap在接受彭博社采访时表示，2024 年是"企业年"，因为企业开始推出更多使用基础模型的用例，OpenAI 在该领域看到了"巨大的增长"。Lightcap说："我们越来越感觉到，市场正在把我们拉向真正的应用，提供真正的业务成果，真正广泛地关注人工智能赋能，我们已经准备好为我们的客户提供支持。"Lightcap此前曾警告企业高管不要指望人工智能能解决他们的所有问题，并提醒说，生成式人工智能在很大程度上仍处于试验阶段。OpenAI 还正式宣布了辅助微调功能，作为定制模型计划的一部分，OpenAI 员工将帮助客户对 GPT-4 进行微调。定制模型计划允许选定的组织与 OpenAI 研究人员合作，根据其特定需求训练定制的 GPT-4 模型。通过微调，GPT-4 等预训练模型可以通过更小、更有针对性的数据集（如公司的投资组合）学习更多信息。第一个第三方集成是与 Weights & Biases 平台的集成。虽然 OpenAI 以 ChatGPT 而闻名，吸引了日常消费者和希望创建自己版本聊天机器人的品牌，但该公司也与初创企业和更成熟的组织合作，将人工智能驱动的应用和服务引入主流。生成式人工智能时代最早的一些宠儿，如文案撰写平台 Jasper和视频创作公司 Descript，都是利用 OpenAI 的模型构建自己的服务的。 ... PC版： 手机版：

科学家正利用土壤微生物的DNA帮助提高气候模型的准确性

科学家正利用土壤微生物的DNA帮助提高气候模型的准确性 微生物模型利用广泛的基因组数据为土壤碳模拟提供动力。图片来源：Victor O. Leshyk 插图这个新模型使科学家们能够更好地了解某些土壤微生物如何有效地储存植物根系提供的碳，并为农业战略提供信息，以保护土壤中的碳，支持植物生长和减缓气候变化。"我们的研究证明了直接从土壤中收集微生物遗传信息的优势。在此之前，我们只掌握了实验室研究的少数微生物的信息，"论文第一作者、伯克利实验室博士后研究员吉安娜-马施曼（Gianna Marschmann）说。"有了基因组信息，我们就能建立更好的模型，预测各种植物类型、作物甚至特定栽培品种如何与土壤微生物合作，更好地捕集碳。同时，这种合作还能增强土壤健康"。最近发表在《自然-微生物学》杂志上的一篇新论文介绍了这项研究。论文的通讯作者是伯克利实验室的 Eoin Brodie 和劳伦斯利弗莫尔国家实验室的 Jennifer Pett-Ridge，后者领导着"微生物持久存在"土壤微生物组科学重点领域项目，该项目由能源部科学办公室资助，以支持这项工作。看见看不见的东西 - 微生物对土壤健康和碳的影响土壤微生物帮助植物获取土壤养分，抵抗干旱、疾病和虫害。它们对碳循环的影响在气候模型中的体现尤为重要，因为它们会影响土壤中储存的碳量或在分解过程中以二氧化碳形式释放到大气中的碳量。通过利用这些碳构建自己的身体，微生物可以将碳稳定（或储存）在土壤中，并影响碳在地下的储存量和储存时间。这些功能与农业和气候的相关性正受到前所未有的关注。然而，仅一克土壤中就含有多达100 亿个微生物和数千个不同物种，绝大多数微生物从未在实验室中被研究过。直到最近，科学家们才从实验室研究的极少数微生物中获得数据，为这些模型提供依据，其中许多微生物与需要在气候模型中体现的微生物无关。Brodie解释说："这就好比根据只生长在热带森林中的植物所提供的信息，为沙漠建立生态系统模型。"为了应对这一挑战，科学家团队直接利用基因组信息建立了一个模型，该模型能够适应任何需要研究的生态系统，从加利福尼亚的草原到北极解冻的永久冻土。该模型利用基因组深入了解土壤微生物的功能，研究小组将这种方法用于研究加利福尼亚牧场中植物与微生物组之间的相互作用。牧场在加州具有重要的经济和生态意义，占陆地面积的 40% 以上。研究重点是生活在植物根部周围的微生物（称为根圈）。这是一个重要的研究环境，因为尽管根区只占地球土壤体积的 1-2%，但据估计，根区储存了地球土壤中 30-40% 的碳，其中大部分碳是由根系在生长过程中释放出来的。为了建立这个模型，科学家们利用加州大学霍普兰研究与推广中心提供的数据，模拟了微生物在根部环境中的生长情况。不过，这种方法并不局限于特定的生态系统。由于某些遗传信息与特定的性状相对应，就像人类一样，基因组（模型所基于的）与微生物性状之间的关系可以转移到世界各地的微生物和生态系统中。研究小组开发了一种新方法来预测微生物的重要性状，这些性状会影响微生物利用植物根系提供的碳和养分的速度。研究人员利用该模型证明，随着植物的生长和碳的释放，由于根系化学和微生物性状之间的相互作用，会出现不同的微生物生长策略。特别是，他们发现，生长速度较慢的微生物在植物生长后期会受到碳释放类型的青睐，而且它们在利用碳方面的效率出奇地高这使它们能够在土壤中储存更多的这种关键元素。这一新的观测结果为改进模型中根系与微生物之间的相互作用提供了依据，并提高了预测微生物如何影响气候模型中全球碳循环变化的能力。"这些新发现对农业和土壤健康具有重要意义。通过我们正在建立的模型，我们越来越有可能利用对碳如何在土壤中循环的新认识。这反过来又为我们提供了可能性，使我们能够提出保护土壤中宝贵的碳的策略，从而在可行的范围内支持生物多样性和植物生长，以衡量其影响，"马施曼说。这项研究强调了利用基于遗传信息的建模方法来预测微生物性状的威力，有助于揭示土壤微生物组及其对环境的影响。编译来源：ScitechDaily ... PC版： 手机版：

Google解释人工智能概述的离谱错误和更新 为其准确性辩护

Google解释人工智能概述的离谱错误和更新 为其准确性辩护 Google首先解释了人工智能概述的运行方式，包括它们"与聊天机器人和其他乐虎国际手机版下载产品的工作方式有很大不同"。它们不是简单地根据训练数据生成输出结果。虽然人工智能概述由定制的语言模型驱动，但该模型与我们的核心网络排名系统集成，旨在执行传统的"搜索"任务，例如从我们的索引中识别相关的高质量结果。这就是为什么人工智能概述不仅仅提供文本输出，还包括相关链接，以便人们进一步探索。Google试图将人工智能概述与更广泛的LLM幻觉问题区分开来，有些人认为LLM不适合搜索。这意味着人工智能概述一般不会像其他LLM产品那样"产生幻觉"或胡编乱造。相反，当人工智能概述出错时，Google表示常见的问题是"误解了查询，误解了网络语言的细微差别，或者没有很多有用的信息"。Google强调了一些病毒式传播的例子。在"我应该吃多少石头"的案例中，Google承认它没有很好地处理讽刺性内容。它还指出《洋葱新闻》的文章是如何"被一家地质软件供应商的网站转载的"。因此，当有人在搜索中输入这个问题时，就会出现一个人工智能概述，忠实地链接到解决这个问题的唯一网站之一。Google强调的另一个案例是"用胶水让奶酪粘在披萨上"，并将论坛（该案例中为 Reddit）作为可靠的第一手知识来源进行了过度索引。最后在少数情况下，我们发现人工智能概述会曲解网页上的语言并提供不准确的信息。我们通过改进算法或通过既定流程删除不符合我们政策的回复，迅速解决了这些问题。就下一步措施而言，Google已经"限制包含讽刺和幽默内容"，作为"更好的无意义查询检测机制"的一部分。此外"我们更新了系统，以限制在可能提供误导性建议的回复中使用用户生成的内容"。"我们为人工智能概述证明不那么有用的查询添加了触发限制"。"对于新闻和健康等主题，我们已经制定了强有力的防护措施。例如，我们的目标是不显示硬新闻话题的人工智能概述，因为这些话题的新鲜度和事实性非常重要。在健康方面，我们推出了额外的触发改进措施，以加强我们的质量保护。"该公司此前曾表示，"绝大多数人工智能概述都能提供高质量的信息"。Google今天援引自己的测试结果称，人工智能概述和基于引用的精选片段的准确率"不相上下"。  但遗憾的是，Google没有分享任何数据来证明这一点。 ... PC版： 手机版：