：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Tr

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Transformer模型提供服务。 主要特点 可扩展且高度可配置：使用 Inferflow 服务新模型的典型方法是编辑模型规范文件，但不添加/编辑源代码。我们在 Inferflow 中实现了原子构建块和技术的模块化框架，使其在组合上可推广到新模型。如果该模型中的原子构建块和技术（对于 Inferflow）“已知”，则 Inferflow 可以为该新模型提供服务。 3.5位量化：Inferflow实现2位、3位、3.5位、4位、5位、6位和8位量化。在量化方案中，3.5位量化是Inferflow推出的新方案。 多GPU推理的混合模型分区：Inferflow支持多GPU推理，具有三种模型分区策略可供选择：按层分区（管道并行）、按张量分区（张量并行）和混合分区（混合并行） ）。其他推理引擎很少支持混合分区。 宽文件格式支持（并安全加载pickle数据）：Inferflow支持直接加载多种文件格式的模型，而不依赖于外部转换器。支持的格式包括pickle、safetensors、llama.cpp gguf等。众所周知，使用Python代码读取pickle文件存在安全问题。通过在 C++ 中实现简化的 pickle 解析器，Inferflow 支持从 pickle 数据安全地加载模型。 广泛的网络类型支持：支持三种类型的变压器模型：仅解码器模型、仅编码器模型和编码器-解码器模型。 GPU/CPU混合推理：支持仅GPU、仅CPU、GPU/CPU混合推理。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。 主要提供： 为多个本地 LLM 模型提供高性能、高效和可靠的服务 可选择通过 CUDA 或 Metal 进行 GPU 加速 可配置的 LLM 完成任务（提示、召回、停止令牌等） 通过 HTTP SSE 流式传输完成响应，使用 WebSockets 聊天 使用 JSON 模式对完成输出进行有偏差的采样 使用向量数据库（内置文件或 Qdrant 等外部数据库）进行记忆检索 接受 PDF 和 DOCX 文件并自动将其分块存储到内存中 使用静态 API 密钥或 JWT 标记确保 API 安全 简单、单一的二进制+配置文件服务器部署，可水平扩展 附加功能： 用于轻松测试和微调配置的 Web 客户端 用于本地运行模型的单二进制跨平台桌面客户端

是Google研究的一种新的移动端文本生成图像的方法，专为移动设备设计，是一种高效的潜在扩散模型，能够在半秒内生成高质量的512

是Google研究的一种新的移动端文本生成图像的方法，专为移动设备设计，是一种高效的潜在扩散模型，能够在半秒内生成高质量的512x512图像。 MobileDiffusion的设计遵循潜扩散模型，包括三个组件：文本编码器、扩散UNet和图像解码器。 MobileDiffusion通过优化模型架构，包括Diffusion UNet和图像解码器，展现了在计算效率上的出色表现，该技术有望在移动设备上推动快速图像生成体验，拓展了生成模型在提高用户体验和应对隐私问题方面的潜在应用。

：以C++编写的物理仿真代码库，旨在提供高效且灵活的仿真解决方案，支持独立运行或作为第三方模块集成到其他应用中。

：以C++编写的物理仿真代码库，旨在提供高效且灵活的仿真解决方案，支持独立运行或作为第三方模块集成到其他应用中。 它包含了一系列实用工具，如高效的三角/四面体网格数据结构、便捷的参数输入输出模块、碰撞检测器以及可扩展的虚拟物理框架，以支持各种求解器。

苹果新发布20个Core ML模型和4个数据集 全部开源供开发者们使用

苹果新发布20个Core ML模型和4个数据集 全部开源供开发者们使用 苹果日前在知名 AI 模型托管平台 HuggingFace 上新发布了 20 个 Core ML 模型和 4 个数据集，这些模型全部采用 Apache 2.0 许可证进行开源，所有开发者均可使用。这些采用 Core ML 框架的新模型在功能上都有所不同，不过侧重点都是在设备端本地运行 AI 模型执行任务，这样数据不需要上云解决潜在的隐私问题。例如开发者可以构建一款用于图像分类的应用程序，在获得用户授权图库访问权限后，可以调用设备端模型进行处理；或者构建一个可以快速去除图像背景的应用程序，使用设备端模型也可以不上传图片，解决用户的隐私担忧。当然采用设备端模型还有个好处就是响应速度会非常快，借助云端处理开发者需要提供性能更强的服务器才能支撑并发使用，而服务器响应和处理都需要使用，本地处理则不需要使用网络，因此也免去了响应时间问题。目前设备端运行 AI 模型最大的问题在于芯片性能，例如苹果推出的苹果智能仅支持 A17 Pro 和 Apple M 系列芯片，对于更旧的芯片还是得第三方开发者们提供支持，虽然这也会存在性能问题。HuggingFace 创始人称这是一次重大更新，苹果将许多基于 Core ML 的新模型上传到了 HuggingFace 存储库，而 Core ML 模型严格在设备端运行无需网络连接，这可以让开发者的应用保持 “闪电般” 的速度，还可以确保用户数据的私密性。有兴趣的开发者们可以访问 HuggingFace 上的苹果主页获取这些模型，苹果也为部分模型提供了论文描述，开发者可以根据论文说明快速了解这些模型的性能： ... PC版： 手机版：

Google：引领AI推理工作量的是CPU而非GPU

Google：引领AI推理工作量的是CPU而非GPU 人工智能的生命周期分为两个部分：训练和推理。在训练过程中，需要大量的计算能力和巨大的内存容量，以便将不断扩大的人工智能模型装入内存。最新的模型，如 GPT-4 和 Gemini，包含数十亿个参数，需要数千个 GPU 或其他加速器并行工作，才能高效地进行训练。另一方面，推理所需的计算强度较低，但仍能从加速中获益。在推理过程中，会对预先训练好的模型进行优化和部署，以便对新数据进行预测。虽然推理所需的计算量比训练少，但延迟和吞吐量对实时推理至关重要。Google发现，虽然 GPU 是训练阶段的理想选择，但模型通常在 CPU 上进行优化和推理。这意味着，有些客户出于各种原因选择 CPU 作为人工智能推理的媒介。这可能是成本和可用性的问题。与高端 GPU 或专门的人工智能加速器相比，CPU 往往更便宜，也更容易获得。对于许多应用而言，CPU 能以较低的成本提供足够的推理性能。CPU 还具有灵活性。由于大多数系统已经配备了 CPU，它们为较小的人工智能模型提供了便捷的部署途径。GPU 通常需要专门的库和驱动程序，而基于 CPU 的推理可以利用现有的基础设施。这使得将人工智能集成到现有产品和工作流程中变得更加简单。延迟和吞吐量的权衡也会发挥作用。GPU 擅长大规模并行推理吞吐量。但 CPU 通常可以为实时请求提供更低的延迟。对于需要亚秒级响应的在线推荐等应用，CPU 推理可能是首选。此外，CPU 对推理的优化进展迅速。在更快的时钟、更多的内核以及英特尔 AVX-512 和 AMX 等新指令的推动下，性能不断提高，仅靠 CPU 就能流畅运行人工智能工作负载，如果服务器配置了不止一个插槽，意味着有更多的人工智能引擎存在，服务器就能高效处理数十亿参数大小的人工智能模型，则性能尤其出色。英特尔指出，一般来说，参数不超过200 亿的模型在 CPU 上可以正常运行，而更大的模型则必须使用专门的加速器。像 GPT-4、Claude 和 Gemini 这样的人工智能模型都是庞大的模型，参数规模可达一万亿以上。然而，它们是多模式的，也就是说，它们处理文本和视频。现实世界中的企业工作负载可能是一个人工智能模型推断公司的本地文档，以回答客户支持问题。对于这种解决方案来说，运行 GPT-4 这样的模型就显得多余了。相比之下，像LLAMA 2或 Mistral 这样小得多的模型可以很好地实现类似目的，而不需要第三方 API 访问，只需在本地或云服务器上运行几个 CPU 即可。这就降低了总体拥有成本（TCO），简化了人工智能管道。 ... PC版： 手机版：