Poly：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。主要提供：为多个本地LLM模型提供高性能、高效和可靠的服务可选择通过CUDA或Metal进行GPU加速可配置的LLM完成任务（提示、召回、停止令牌等）通过HTTPSSE流式传输完成响应，使用WebSockets聊天使用JSON模式对完成输出进行有偏差的采样使用向量数据库（内置文件或Qdrant等外部数据库）进行记忆检索接受PDF和DOCX文件并自动将其分块存储到内存中使用静态API密钥或JWT标记确保API安全简单、单一的二进制+配置文件服务器部署，可水平扩展附加功能：用于轻松测试和微调配置的Web客户端用于本地运行模型的单二进制跨平台桌面客户端

苹果发布可在本地运行的开放模型 OpenELM

苹果发布可在本地运行的开放模型OpenELM苹果发布了它的开放模型，可以在本地设备而不是云端运行。OpenELM的权重、训练的不同检查点（checkpoints）、预训练评估微调等的指南都公布在HuggingFace平台上。示例代码许可并不禁止商业使用或修改，只是要求在重新发布时包含苹果完整且没有修改过的声明。OpenELM由一组旨在高效执行文本生成任务的小模型组成，共八个模型，四个预训练四个指令微调，参数规模从2.7亿到30亿。来源，频道：@kejiqu群组：@kejiquchat

libLLM: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。

:专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。核心使用C++14编写，没有第三方依赖（BLAS、SentencePiece等），能在各种设备中无缝运行。特点为日常设备进行优化：libLLM经过优化，可在常见的个人电脑上平稳运行，确保大型语言模型的强大功能面向更广泛的用户。C++代码：采用标准C++14编写，简单高效。无外部依赖：核心功能无需第三方依赖（BLAS、SentencePiece等），所需的GEMM内核均在内部实现(avx2、avx512)。支持CUDA：支持使用CUDA加速推理。

Mistral 正式发布 Mistral Large，在基准测试中仅次于GPT-4，超过其他所有模型。#ai##llm#

Mistral正式发布MistralLarge，在基准测试中仅次于GPT-4，超过其他所有模型。MistralLarge具有新的功能和优势：它在英语、法语、西班牙语、德语和意大利语方面拥有母语般流利的能力，并对语法和文化背景有细致的理解。其32K令牌的上下文窗口允许从大型文档中精确地寻找信息。它精确的指令跟随能够让开发者设计他们的管理政策-我们用它来建立leChat的系统级管理。它本身就能够进行函数调用。这一点，再加上在laPlateforme上实现的受限输出模式，使得应用程序开发和技术栈现代化能够大规模进行。支持在LaPlateforme、Azure和私有部署。了解更多：