：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。 主要提供： 为多个本地 LLM 模型提供高性能、高效和可靠的服务 可选择通过 CUDA 或 Metal 进行 GPU 加速 可配置的 LLM 完成任务（提示、召回、停止令牌等） 通过 HTTP SSE 流式传输完成响应，使用 WebSockets 聊天 使用 JSON 模式对完成输出进行有偏差的采样 使用向量数据库（内置文件或 Qdrant 等外部数据库）进行记忆检索 接受 PDF 和 DOCX 文件并自动将其分块存储到内存中 使用静态 API 密钥或 JWT 标记确保 API 安全 简单、单一的二进制+配置文件服务器部署，可水平扩展 附加功能： 用于轻松测试和微调配置的 Web 客户端 用于本地运行模型的单二进制跨平台桌面客户端

苹果发布可在本地运行的开放模型 OpenELM

苹果发布可在本地运行的开放模型 OpenELM 苹果发布了它的开放模型 ，可以在本地设备而不是云端运行。OpenELM 的权重、训练的不同检查点（checkpoints）、预训练评估微调等的指南都公布在 Hugging Face 平台上。示例代码许可并不禁止商业使用或修改，只是要求在重新发布时包含苹果完整且没有修改过的声明。OpenELM 由一组旨在高效执行文本生成任务的小模型组成，共八个模型，四个预训练四个指令微调，参数规模从 2.7 亿到 30 亿。来源 ， 频道：@kejiqu 群组：@kejiquchat

：注重隐私的编程助手，可在本地系统上运行候选平台的LLM(语言模型)，可以选择Mistral、CodeLLama等热门的LLM。

：注重隐私的编程助手，可在本地系统上运行候选平台的LLM(语言模型)，可以选择Mistral、CodeLLama等热门的LLM。安装Privy扩展可以从Visual Studio Code Marketplace或Open VSX Registry进行