通过4bit量化的模型压缩，OPPO的AlBoost推理引擎优化，以及与芯片厂家联合深度优化等多项举措，让70亿参数大模型真正地

通过4bit量化的模型压缩，OPPO的AlBoost推理引擎优化，以及与芯片厂家联合深度优化等多项举措，让70亿参数大模型真正地装进手机，并实现内存和存储空间的进一步优化，为端侧AI的性能与精度实现更好平衡。OPPO自主训练的大模型——AndesGPT，具有“个性专属、对话增强、端云协同”三大技术特征。坚持端云协同部署的AndesGPT，覆盖十亿至千亿以上多种不同参数规模，可通过分工、互补、协作的方式，根据不同场景的用户需求实现智能调度。通过独创的SwappedAttention技术，AndesGPT还解决了长期记忆带来首字推理延迟问题。

Inferflow：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Transformer模型提供服务。主要特点可扩展且高度可配置：使用Inferflow服务新模型的典型方法是编辑模型规范文件，但不添加/编辑源代码。我们在Inferflow中实现了原子构建块和技术的模块化框架，使其在组合上可推广到新模型。如果该模型中的原子构建块和技术（对于Inferflow）“已知”，则Inferflow可以为该新模型提供服务。3.5位量化：Inferflow实现2位、3位、3.5位、4位、5位、6位和8位量化。在量化方案中，3.5位量化是Inferflow推出的新方案。多GPU推理的混合模型分区：Inferflow支持多GPU推理，具有三种模型分区策略可供选择：按层分区（管道并行）、按张量分区（张量并行）和混合分区（混合并行））。其他推理引擎很少支持混合分区。宽文件格式支持（并安全加载pickle数据）：Inferflow支持直接加载多种文件格式的模型，而不依赖于外部转换器。支持的格式包括pickle、safetensors、llama.cppgguf等。众所周知，使用Python代码读取pickle文件存在安全问题。通过在C++中实现简化的pickle解析器，Inferflow支持从pickle数据安全地加载模型。广泛的网络类型支持：支持三种类型的变压器模型：仅解码器模型、仅编码器模型和编码器-解码器模型。GPU/CPU混合推理：支持仅GPU、仅CPU、GPU/CPU混合推理。

libLLM: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。

:专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。核心使用C++14编写，没有第三方依赖（BLAS、SentencePiece等），能在各种设备中无缝运行。特点为日常设备进行优化：libLLM经过优化，可在常见的个人电脑上平稳运行，确保大型语言模型的强大功能面向更广泛的用户。C++代码：采用标准C++14编写，简单高效。无外部依赖：核心功能无需第三方依赖（BLAS、SentencePiece等），所需的GEMM内核均在内部实现(avx2、avx512)。支持CUDA：支持使用CUDA加速推理。

Pathway是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建 Python 代码，无缝结合 LLM 应用程序的批处

是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建Python代码，无缝结合LLM应用程序的批处理、流处理和实时API。每当收到新的输入和请求时，Pathway的分布式运行时(-)都会提供数据管道的最新结果。Pathway提供了Python中的高级编程接口，用于定义数据转换、聚合和数据流上的其他操作。借助Pathway，您可以轻松设计和部署复杂的数据工作流程，从而高效地实时处理大量数据。Pathway可与各种数据源和接收器（例如Kafka、CSV文件、SQL/noSQL数据库和RESTAPI）互操作，允许您连接和处理来自不同存储系统的数据。Pathway的典型用例包括实时数据处理、ETL（提取、转换、加载）管道、数据分析、监控、异常检测和推荐。Pathway还可以独立为实时LLM应用程序提供轻型LLMOps堆栈的骨干。在Pathway中，数据以表格的形式表示。实时数据流也被视为表。该库提供了一组丰富的操作，例如过滤、联接、分组和窗口。