：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。 主要提供： 为多个本地 LLM 模型提供高性能、高效和可靠的服务 可选择通过 CUDA 或 Metal 进行 GPU 加速 可配置的 LLM 完成任务（提示、召回、停止令牌等） 通过 HTTP SSE 流式传输完成响应，使用 WebSockets 聊天 使用 JSON 模式对完成输出进行有偏差的采样 使用向量数据库（内置文件或 Qdrant 等外部数据库）进行记忆检索 接受 PDF 和 DOCX 文件并自动将其分块存储到内存中 使用静态 API 密钥或 JWT 标记确保 API 安全 简单、单一的二进制+配置文件服务器部署，可水平扩展 附加功能： 用于轻松测试和微调配置的 Web 客户端 用于本地运行模型的单二进制跨平台桌面客户端

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。

：超简单的类GPT语音助手，采用开源大型语言模型 (LLM) 以响应口头请求，完全在树莓派上本地运行。 它不需要互联网连接或云服务支持。使用按钮触发录音，经过自动语音识别生成文本，然后由 TinyLlama-1.1B LLM 生成回复，并通过 eSpeak 语音合成器产生音频输出。

: 一种扩展Python的编程语言，旨在以自然、直观、方便和高效的方式在程序中利用大型语言模型（如GPT）

: 一种扩展Python的编程语言，旨在以自然、直观、方便和高效的方式在程序中利用大型语言模型（如GPT） 主要特征 通过与 Python 无缝集成实现可读性和可维护性：APPL 将自然语言提示无缝嵌入到 Python 程序中，保持提示的可读性，同时继承宿主编程语言的模块化、可重用性、动态性和生态系统。 灵活及时的工程： 除了允许使用Python控制流和提示的模块化分解之外，APPL还提供提示编码助手，以模块化和可维护的方式促进提示编程。 通过异步计算自动并行化：APPL 异步安排 LLM 调用，利用它们之间潜在的独立性来促进高效的并行化。这减轻了用户手动管理同步的负担，几乎不需要额外的工作。 平滑的工具调用集成：APPL提供了直观的方法将Python函数转换为LLM可以调用的工具，使用户可以轻松地将现有的Python库和函数与LLM集成。 跟踪和故障恢复： APPL 跟踪 LLM 调用的执行并支持从故障中恢复，这对于 LLM 编程范例中的调试和错误处理至关重要。 更多功能： APPL 还为使用 的多个 LLM 后端提供统一的接口litellm，使用 的结构化生成instructor以及许多其他功能。

是一种类似于 C 的可嵌入编程语言，具有高级功能，例如函数重载、运算符重载、类成员函数和属性、自动垃圾收集、闭包、协程、本地函数

是一种类似于 C 的可嵌入编程语言，具有高级功能，例如函数重载、运算符重载、类成员函数和属性、自动垃圾收集、闭包、协程、本地函数、类型推断、运行时类型信息、模块、列表理解、枚举、命名空间、泛型函数和类。 nullc 库可以在 VM 上执行代码或将其转换为 x86 代码以快速执行。它还可以将 nullc 文件转换为 C 源文件。 该存储库构建了多个附加工具： ●nullcl - 将 nullc 源文件编译为二进制模块、C 源文件或可执行文件（使用 gcc）的工具。 ●nullcexec - 执行 nullc 源文件的工具。 ●nullc_ide - 一个简单的文本编辑器，具有代码着色和简单的调试兼容性（包括对执行 nullc 脚本的应用程序的远程调试）。 ●nullc_lang_server - 与 IDE 集成的语言服务器实现 ●nullc_lang_debugger - 一个调试适配器，还包括用于执行 nullc 程序的语言运行时 ●nullc_lang_client - 包含 nullc_lang_server 和 nullc_lang_debugger 的 Visual Studio Code 扩展适配器

Roblox借助LLM语言模型发布实时人工智能聊天翻译器

Roblox借助LLM语言模型发布实时人工智能聊天翻译器 Roblox 首席技术官丹-斯特曼（Dan Sturman）说，该翻译器的目标是让Roblox用户更容易理解对方在说什么，从而让他们在相互交流时感觉更舒适。翻译器会自动翻译聊天内容，但用户可以点击图标查看原始信息。"我们知道，当用户用自己的语言与他人交谈或互动时，参与度就会提高，"Sturman 说。"我们借鉴了这一理念，并通过自动翻译消除了语言障碍。"Roblox 首先建立了一个基于转换器的大型语言模型 (LLM)，该模型通过公开数据和内部数据进行训练。它将 LLM 置于一个专家混合（MoE）架构中，这是一个运行多个翻译应用程序的环境，每个应用程序都是一种语言的专家。Sturman 说，考虑到他们项目的规模，他的团队认为建立自己的模型比修改现成的 LLM 更容易。斯图尔曼说，Roblox 会监控聊天内容（出于信任和安全考虑），如果翻译不尽完美，可以得到反馈。他补充说，增加聊天翻译人工智能"不会改变我们的隐私和安全流程，违禁词语仍会被屏蔽"。Roblox 在过去几年中一直在努力吸引较为年长的用户，并一直在使用生成式人工智能模型来增强用户体验。去年，它为开发者推出了一款人工智能聊天机器人助手，还能自动将图像资产（如建筑物上的文字）翻译成用户的默认语言。斯图尔曼希望翻译模式最终能超越单纯的文本聊天翻译。"未来，我们可以使用人工智能将不合规的[违禁]词语翻译成合规词语，或者将其用于语音聊天的实时语音翻译，还有很多可能性。"其他公司也在开发人工智能翻译模型。Meta 发布了语音到文本和文本到文本的翻译器 SeamlessM4T，可处理近 100 种语言。Google的通用语音模型也能翻译约 100 种语言，并已部署在 YouTube 上翻译字幕。 ... PC版： 手机版：

面向Agent的功能强大的搜索引擎，可以在本地运行或通过远程API连接，适用于大型语言模型(LLM)和人类用户，提供超过十亿个来

面向Agent的功能强大的搜索引擎，可以在本地运行或通过远程API连接，适用于大型语言模型(LLM)和人类用户，提供超过十亿个来自Creative Commons、Arxiv、维基百科和Project Gutenberg等多样化来源的高质量嵌入。 | #搜索引擎