: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。

: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。 核心使用C++14编写，没有第三方依赖（BLAS、SentencePiece等），能在各种设备中无缝运行。 特点 为日常设备进行优化：libLLM经过优化，可在常见的个人电脑上平稳运行，确保大型语言模型的强大功能面向更广泛的用户。 C++代码：采用标准C++14编写，简单高效。 无外部依赖：核心功能无需第三方依赖（BLAS、SentencePiece等），所需的GEMM内核均在内部实现(avx2、avx512)。 支持CUDA：支持使用CUDA加速推理。

是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建 Python 代码，无缝结合 LLM 应用程序的批处理、流处理和实

是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建 Python 代码，无缝结合 LLM 应用程序的批处理、流处理和实时 API。每当收到新的输入和请求时，Pathway 的分布式运行时 (-) 都会提供数据管道的最新结果。 Pathway 提供了 Python 中的高级编程接口，用于定义数据转换、聚合和数据流上的其他操作。借助 Pathway，您可以轻松设计和部署复杂的数据工作流程，从而高效地实时处理大量数据。 Pathway 可与各种数据源和接收器（例如 Kafka、CSV 文件、SQL/noSQL 数据库和 REST API）互操作，允许您连接和处理来自不同存储系统的数据。 Pathway 的典型用例包括实时数据处理、ETL（提取、转换、加载）管道、数据分析、监控、异常检测和推荐。Pathway 还可以独立为实时 LLM 应用程序提供轻型 LLMOps 堆栈的骨干。 在 Pathway 中，数据以表格的形式表示。实时数据流也被视为表。该库提供了一组丰富的操作，例如过滤、联接、分组和窗口。