：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Tr

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Transformer模型提供服务。 主要特点 可扩展且高度可配置：使用 Inferflow 服务新模型的典型方法是编辑模型规范文件，但不添加/编辑源代码。我们在 Inferflow 中实现了原子构建块和技术的模块化框架，使其在组合上可推广到新模型。如果该模型中的原子构建块和技术（对于 Inferflow）“已知”，则 Inferflow 可以为该新模型提供服务。 3.5位量化：Inferflow实现2位、3位、3.5位、4位、5位、6位和8位量化。在量化方案中，3.5位量化是Inferflow推出的新方案。 多GPU推理的混合模型分区：Inferflow支持多GPU推理，具有三种模型分区策略可供选择：按层分区（管道并行）、按张量分区（张量并行）和混合分区（混合并行） ）。其他推理引擎很少支持混合分区。 宽文件格式支持（并安全加载pickle数据）：Inferflow支持直接加载多种文件格式的模型，而不依赖于外部转换器。支持的格式包括pickle、safetensors、llama.cpp gguf等。众所周知，使用Python代码读取pickle文件存在安全问题。通过在 C++ 中实现简化的 pickle 解析器，Inferflow 支持从 pickle 数据安全地加载模型。 广泛的网络类型支持：支持三种类型的变压器模型：仅解码器模型、仅编码器模型和编码器-解码器模型。 GPU/CPU混合推理：支持仅GPU、仅CPU、GPU/CPU混合推理。

：通过GPU本地内存泄漏监听LLM响应

：通过GPU本地内存泄漏监听LLM响应 研究人员发现了一种新的GPU漏洞LeftoverLocals，通过该漏洞攻击者可以读取其他进程中的GPU本地内存数据。这会影响LLM等GPU应用的安全性，文章以llama.cpp为例，演示了如何通过读取本地内存来恢复LLM的响应。测试了多种平台，发现AMD、Apple和高通的GPU存在该漏洞。Nvidia和Intel等则不存在。 攻击者可以通过并行程序来实现该攻击，不需要特殊权限。文章详细解释了技术原理和攻击步骤。由于该漏洞的影响范围很广，作者通过CERT/CC组织进行了协调披露，以便GPU厂商修复。

ℹGPT4All 在电脑本地安装类似 ChatGPT 的聊天机器人，提供超多 LLM，无需连网和 GPU 就能用#

ℹGPT4All 在电脑本地安装类似 ChatGPT 的聊天机器人，提供超多 LLM，无需连网和 GPU 就能用# 对于有在使用 AI 聊天机器人的读者来说，一定想试试看能不能在本地安装 LLM 大语言模型，这样即便没有网路也能使用，而这篇要介绍的 GP...

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。 它不需要互联网连接或云服务支持。使用按钮触发录音，经过自动语音识别生成文本，然后由 TinyLlama-1.1B LLM 生成回复，并通过 eSpeak 语音合成器产生音频输出。

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式 主要特征 适用于你喜爱的模型的即用型 API：部署和服务开源基础模型 - 包括 LLaMA、MPT 和 Falcon。使用 Scale 托管模型或部署到您自己的基础设施。 微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。 优化推理：LLM Engine 提供推理 API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。 开源集成： 使用单个命令部署任何。 即将推出的功能 K8s 安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问 Scale 的托管基础​​设施。 快速冷启动时间：为了防止 GPU 闲置，LLM Engine 在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。 成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。

：为大型语言模型(LLM)设计的结构化生成语言，旨在加速和更好地控制与LLM的交互。

：为大型语言模型(LLM)设计的结构化生成语言，旨在加速和更好地控制与LLM的交互。 特点包括：灵活的前端语言，允许轻松编程LLM应用，支持多个连锁生成调用、高级提示技术、控制流、多模式、并行处理和外部交互；具备高性能运行时，使用RadixAttention可以显著加速复杂LLM程序的执行，自动跨多个调用重复使用KV缓存，同时支持连续批处理和张量并行处理。