：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Tr

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Transformer模型提供服务。 主要特点 可扩展且高度可配置：使用 Inferflow 服务新模型的典型方法是编辑模型规范文件，但不添加/编辑源代码。我们在 Inferflow 中实现了原子构建块和技术的模块化框架，使其在组合上可推广到新模型。如果该模型中的原子构建块和技术（对于 Inferflow）“已知”，则 Inferflow 可以为该新模型提供服务。 3.5位量化：Inferflow实现2位、3位、3.5位、4位、5位、6位和8位量化。在量化方案中，3.5位量化是Inferflow推出的新方案。 多GPU推理的混合模型分区：Inferflow支持多GPU推理，具有三种模型分区策略可供选择：按层分区（管道并行）、按张量分区（张量并行）和混合分区（混合并行） ）。其他推理引擎很少支持混合分区。 宽文件格式支持（并安全加载pickle数据）：Inferflow支持直接加载多种文件格式的模型，而不依赖于外部转换器。支持的格式包括pickle、safetensors、llama.cpp gguf等。众所周知，使用Python代码读取pickle文件存在安全问题。通过在 C++ 中实现简化的 pickle 解析器，Inferflow 支持从 pickle 数据安全地加载模型。 广泛的网络类型支持：支持三种类型的变压器模型：仅解码器模型、仅编码器模型和编码器-解码器模型。 GPU/CPU混合推理：支持仅GPU、仅CPU、GPU/CPU混合推理。

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式 主要特征 适用于你喜爱的模型的即用型 API：部署和服务开源基础模型 - 包括 LLaMA、MPT 和 Falcon。使用 Scale 托管模型或部署到您自己的基础设施。 微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。 优化推理：LLM Engine 提供推理 API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。 开源集成： 使用单个命令部署任何。 即将推出的功能 K8s 安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问 Scale 的托管基础​​设施。 快速冷启动时间：为了防止 GPU 闲置，LLM Engine 在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。 成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。

Google：引领AI推理工作量的是CPU而非GPU

Google：引领AI推理工作量的是CPU而非GPU 人工智能的生命周期分为两个部分：训练和推理。在训练过程中，需要大量的计算能力和巨大的内存容量，以便将不断扩大的人工智能模型装入内存。最新的模型，如 GPT-4 和 Gemini，包含数十亿个参数，需要数千个 GPU 或其他加速器并行工作，才能高效地进行训练。另一方面，推理所需的计算强度较低，但仍能从加速中获益。在推理过程中，会对预先训练好的模型进行优化和部署，以便对新数据进行预测。虽然推理所需的计算量比训练少，但延迟和吞吐量对实时推理至关重要。Google发现，虽然 GPU 是训练阶段的理想选择，但模型通常在 CPU 上进行优化和推理。这意味着，有些客户出于各种原因选择 CPU 作为人工智能推理的媒介。这可能是成本和可用性的问题。与高端 GPU 或专门的人工智能加速器相比，CPU 往往更便宜，也更容易获得。对于许多应用而言，CPU 能以较低的成本提供足够的推理性能。CPU 还具有灵活性。由于大多数系统已经配备了 CPU，它们为较小的人工智能模型提供了便捷的部署途径。GPU 通常需要专门的库和驱动程序，而基于 CPU 的推理可以利用现有的基础设施。这使得将人工智能集成到现有产品和工作流程中变得更加简单。延迟和吞吐量的权衡也会发挥作用。GPU 擅长大规模并行推理吞吐量。但 CPU 通常可以为实时请求提供更低的延迟。对于需要亚秒级响应的在线推荐等应用，CPU 推理可能是首选。此外，CPU 对推理的优化进展迅速。在更快的时钟、更多的内核以及英特尔 AVX-512 和 AMX 等新指令的推动下，性能不断提高，仅靠 CPU 就能流畅运行人工智能工作负载，如果服务器配置了不止一个插槽，意味着有更多的人工智能引擎存在，服务器就能高效处理数十亿参数大小的人工智能模型，则性能尤其出色。英特尔指出，一般来说，参数不超过200 亿的模型在 CPU 上可以正常运行，而更大的模型则必须使用专门的加速器。像 GPT-4、Claude 和 Gemini 这样的人工智能模型都是庞大的模型，参数规模可达一万亿以上。然而，它们是多模式的，也就是说，它们处理文本和视频。现实世界中的企业工作负载可能是一个人工智能模型推断公司的本地文档，以回答客户支持问题。对于这种解决方案来说，运行 GPT-4 这样的模型就显得多余了。相比之下，像LLAMA 2或 Mistral 这样小得多的模型可以很好地实现类似目的，而不需要第三方 API 访问，只需在本地或云服务器上运行几个 CPU 即可。这就降低了总体拥有成本（TCO），简化了人工智能管道。 ... PC版： 手机版：

是Google研究的一种新的移动端文本生成图像的方法，专为移动设备设计，是一种高效的潜在扩散模型，能够在半秒内生成高质量的512

是Google研究的一种新的移动端文本生成图像的方法，专为移动设备设计，是一种高效的潜在扩散模型，能够在半秒内生成高质量的512x512图像。 MobileDiffusion的设计遵循潜扩散模型，包括三个组件：文本编码器、扩散UNet和图像解码器。 MobileDiffusion通过优化模型架构，包括Diffusion UNet和图像解码器，展现了在计算效率上的出色表现，该技术有望在移动设备上推动快速图像生成体验，拓展了生成模型在提高用户体验和应对隐私问题方面的潜在应用。

Mozilla最近推出了一个名为Llamafile的开源项目，其目的是让大众更容易使用开源的大语言模型(LLM)。

Mozilla最近推出了一个名为Llamafile的开源项目，其目的是让大众更容易使用开源的大语言模型(LLM)。 Llamafile通过将LLM聊天机器人的全部复杂架构简化为一个可在六个操作系统上运行的单一可执行文件。它结合了和两个开源项目的功能。 Mozilla希望Llamafile可以降低开发者和普通用户使用开源LLM的门槛，让更多人参与开源AI的发展，为商业化的封闭源LLM提供一个开源的可选方案。Llamafile也代表了“本地AI”的理念，即AI运行在本地设备上，由用户完全控制，不依赖网络，可以保护隐私。这有助于开源AI抵制大公司对AI的控制。|

Jim Keller：NVIDIA的CUDA不是护城河，是沼泽！

Jim Keller：NVIDIA的CUDA不是护城河，是沼泽！ “CUDA 是沼泽，而不是护城河，”凯勒在 X 帖子中写道。“x86 也是一片沼泽。[…] CUDA 并不漂亮。它是通过一次堆积一件东西来构建的。” 确实，就像x86一样，CUDA在保持软件和硬件向后兼容性的同时逐渐增加了功能。这使得英伟达的平台完整且向后兼容，但它影响了性能并使程序开发变得更加困难。同时，很多开源软件开发框架可以比CUDA更高效地使用。“基本上没有人编写 CUDA，”Jim Keller在后续帖子中写道。“如果你确实编写 CUDA，它可能不会很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的。”甚至NVIDIA本身也有不完全依赖 CUDA 的工具。例如，Triton Inference Server 是 NVIDIA 的一款开源工具，可简化 AI 模型的大规模部署，支持 TensorFlow、PyTorch 和 ONNX 等框架。Triton 还提供模型版本控制、多模型服务和并发模型执行等功能，以优化 GPU 和 CPU 资源的利用率。NVIDIA的TensorRT是一种高性能深度学习推理优化器和运行时库，可加速NVIDIA GPU上的深度学习推理。TensorRT 从各种框架（例如 TensorFlow 和 PyTorch）中获取经过训练的模型，并对其进行优化以进行部署，从而减少延迟并提高图像分类、对象检测和自然语言处理等实时应用程序的吞吐量。但是，尽管像Arm、CUDA 和x86这样的架构可能会被认为是“沼泽”，因为它们的演进速度相对较慢、必须向后兼容并且体积庞大，但这些平台也不像GPGPU这样分散，这可能根本不是一件坏事。目前尚不清楚 Jim Keller 对 AMD 的ROCm和英特尔的OneAPI有何看法，但很明显，尽管他花了很多年时间设计 x86 架构，但他并不迷恋其未来前景。他的言论还暗示，尽管他曾在世界上一些最大的芯片制造商工作过一段时间，包括苹果、英特尔、AMD、博通（现在是Tenstorrent）等公司，但我们可能不会在NVIDIA的名单上看到他的名字。 ... PC版： 手机版：