MAmmoTH：专门为解决通用数学问题而定制的开源大语言模型。

MAmmoTH：专门为解决通用数学问题而定制的开源大语言模型。MAmmoTH模型结合了CoT和PoT两种思维方式，使其能够更全面地解决各种数学问题（从基础算术到高等数学）。在九个数学推理数据集上显著超越了现有的开源模型，平均准确率提高了13%到29%。MAmmoTH在一个精心策划的指导调优数据集MathInstruct上进行训练，MathInstruct从13个带有中间理由的数学数据集中编译而来，其中六个是由作者新策划的。MAmmoTH基于LLaMa2和CodeLlama训练的数学领域的开源LLM，有7B、13B、34B、70B四个版本。MAmmoTH的工作原理是通过混合指导调优方法，结合两种不同的思维方式，训练模型来解决各种数学问题。这种方法确保了模型在各种数学领域都有很好的表现，并且在实际应用中也取得了显著的性能提升。

Perplexity推出pplx-api，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等

Perplexity推出，可快速访问开源大型语言模型如Mistral7B、Llama213B等-pplx-api易于使用，开发者可以在几分钟内通过RESTAPI整合先进的开源模型。-pplx-api推理速度很快，比其他解决方案的延迟降低了2-3倍。-pplx-api基础设施经过验证，可以承载产品级流量。-pplx-api采用NVIDIATensorRT-LLM和AWSA100GPU等先进软硬件，实现了优化。-pplx-api已用于Perplexity的产品中，相比外部API每年节省了62万美元成本。-pplx-api兼容OpenAIAPI，可以轻松集成到现有应用中。-未来pplx-api将支持更多定制和开源模型。

LLM Engine：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式主要特征适用于你喜爱的模型的即用型API：部署和服务开源基础模型-包括LLaMA、MPT和Falcon。使用Scale托管模型或部署到您自己的基础设施。微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。优化推理：LLMEngine提供推理API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。开源集成：使用单个命令部署任何。即将推出的功能K8s安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问Scale的托管基础​​设施。快速冷启动时间：为了防止GPU闲置，LLMEngine在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。

Command-R：多语言、高性能、可定制：350亿参数的开源语言模型

：多语言、高性能、可定制：350亿参数的开源语言模型-C4AICommand-R是一个350亿参数的高性能生成式模型，由Cohere和CohereForAI联合开发。-Command-R是一个大型语言模型，其开放权重针对多种用例进行了优化，包括推理、摘要和问答。-Command-R具有多语言生成能力，在10种语言上进行了评估，并具有高性能的RAG(Retrieval-AugmentedGeneration)能力。-该模型的许可证为CC-BY-NC，使用时还需遵守C4AI的可接受使用政策。-Command-R的上下文长度为128K，可以使用HuggingFace的Transformers库进行调用和使用。-C4AICommand-R的发布展示了Cohere在开发大型语言模型方面的实力。350亿参数的模型规模处于业界领先水平，有望在多个应用领域取得突破。-Command-R的开放权重和对多种用例的优化，为开发者和研究者提供了灵活性和可定制性。这有助于促进模型的应用和创新。-多语言生成能力和高性能RAG能力的结合，使Command-R在跨语言任务和知识密集型任务上具有独特优势。这可能推动自然语言处理技术在全球范围内的普及和应用。-CC-BY-NC许可证和C4AI的可接受使用政策体现了Cohere对于负责任AI开发的重视。在开放模型的同时，设置合理的使用边界，有助于防范潜在的滥用风险。-基于HuggingFace生态系统发布模型，降低了用户的使用门槛。这种与主流开源社区的融合，有利于Command-R的推广和迭代。-尽管Command-R的开放权重提供了灵活性，但对于缺乏计算资源的中小型开发者而言，350亿参数的模型规模可能难以承受。这可能加剧AI开发的门槛和不平等。-Command-R在多语言任务上的出色表现，可能促使更多开发者将其应用于跨文化交流和全球化业务。但过度依赖单一模型，可能忽视了不同语言和文化的独特性。-开放模型虽然有利于创新，但也可能加剧恶意使用和滥用的风险。即使有使用政策的约束，在实践中难以对每一个应用进行有效监管。这需要技术和制度的双重发力。

发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI# #llm

发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI##llm#每个阶段都有清晰的文本、图表和实例来解释相关概念。课程内容包括：1.从基础理解注意力机制2.构建并预训练一个类似于GPT的模型3.学习如何加载预训练的权重4.对模型进行分类任务的微调5.使用直接偏好优化进行指令微调模型课程地址：https://github.com/rasbt/LLMs-from-scratch/tree/main

英伟达的通用大模型 Nemotron，开源了最新的 3400 亿参数版本。

英伟达的通用大模型Nemotron，开源了最新的3400亿参数版本。本周五，英伟达宣布推出Nemotron-4340B。它包含一系列开放模型，开发人员可以使用这些模型生成合成数据，用于训练大语言模型（LLM），可用于医疗健康、金融、制造、零售等所有行业的商业应用。高质量的训练数据在自定义LLM的响应性能、准确性和质量中起着至关重要的作用——但强大的数据集经常是昂贵且难以访问的。通过独特的开放模型许可，Nemotron-4340B为开发人员提供了一种免费、可扩展的方式来生成合成数据，从而帮助人们构建强大的LLM。Nemotron-4340B系列包括基础、Instruct和Reward模型，它们形成了一个pipeline，用于生成训练和改进LLM的合成数据。这些模型经过优化，可与NVIDIANeMo配合使用，后者是一个用于端到端模型训练的开源框架，包括数据管理、定制和评估。它们还针对开源NVIDIATensorRT-LLM库的推理进行了优化。英伟达表示，Nemotron-4340B现已可从HuggingFace下载。开发人员很快就能在ai.nvidia.com上访问这些模型，它们将被打包为NVIDIANIM微服务，并带有可在任何地方部署的标准应用程序编程接口。大语言模型可以帮助开发人员在无法访问大型、多样化标记数据集的情况下生成合成训练数据。Nemotron-4340BInstruct模型创建了多样化的合成数据，模仿了现实世界数据的特征，有助于提高数据质量，从而提高自定义LLM在各个领域的性能和鲁棒性。来源：机器之心