Poly：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。主要提供：为多个本地LLM模型提供高性能、高效和可靠的服务可选择通过CUDA或Metal进行GPU加速可配置的LLM完成任务（提示、召回、停止令牌等）通过HTTPSSE流式传输完成响应，使用WebSockets聊天使用JSON模式对完成输出进行有偏差的采样使用向量数据库（内置文件或Qdrant等外部数据库）进行记忆检索接受PDF和DOCX文件并自动将其分块存储到内存中使用静态API密钥或JWT标记确保API安全简单、单一的二进制+配置文件服务器部署，可水平扩展附加功能：用于轻松测试和微调配置的Web客户端用于本地运行模型的单二进制跨平台桌面客户端

NSA Ghidra 软件逆向工程框架。

NSAGhidra软件逆向工程框架。Ghidra是由美国国家安全局研究总局创建和维护的软件逆向工程(SRE)框架。该框架包括一套全功能的高端软件分析工具，使用户能够在各种平台上分析编译代码，包括Windows、macOS和Linux。其功能包括反汇编、汇编、反编译、图形化和脚本化，以及数百个其他功能。Ghidra支持各种处理器指令集和可执行格式，并可在用户交互和自动化模式下运行。用户还可以使用Java或Python开发自己的Ghidra扩展组件和/或脚本。为支持NSA的网络安全任务，Ghidra旨在解决复杂SRE工作中的可扩展性和团队协作问题，并提供可定制和可扩展的SRE研究平台。NSA已将GhidraSRE能力应用于涉及分析恶意代码和为SRE分析师生成深入洞察力的各种问题中，以更好地了解网络和系统中潜在的漏洞。#框架

Mozilla最近推出了一个名为Llamafile的开源项目，其目的是让大众更容易使用开源的大语言模型(LLM)。

Mozilla最近推出了一个名为Llamafile的开源项目，其目的是让大众更容易使用开源的大语言模型(LLM)。Llamafile通过将LLM聊天机器人的全部复杂架构简化为一个可在六个操作系统上运行的单一可执行文件。它结合了和两个开源项目的功能。Mozilla希望Llamafile可以降低开发者和普通用户使用开源LLM的门槛，让更多人参与开源AI的发展，为商业化的封闭源LLM提供一个开源的可选方案。Llamafile也代表了“本地AI”的理念，即AI运行在本地设备上，由用户完全控制，不依赖网络，可以保护隐私。这有助于开源AI抵制大公司对AI的控制。

nullc 是一种类似于 C 的可嵌入编程语言，具有高级功能，例如函数重载、运算符重载、类成员函数和属性、自动垃圾收集、闭包、协

是一种类似于C的可嵌入编程语言，具有高级功能，例如函数重载、运算符重载、类成员函数和属性、自动垃圾收集、闭包、协程、本地函数、类型推断、运行时类型信息、模块、列表理解、枚举、命名空间、泛型函数和类。nullc库可以在VM上执行代码或将其转换为x86代码以快速执行。它还可以将nullc文件转换为C源文件。该存储库构建了多个附加工具：●nullcl-将nullc源文件编译为二进制模块、C源文件或可执行文件（使用gcc）的工具。●nullcexec-执行nullc源文件的工具。●nullc_ide-一个简单的文本编辑器，具有代码着色和简单的调试兼容性（包括对执行nullc脚本的应用程序的远程调试）。●nullc_lang_server-与IDE集成的语言服务器实现●nullc_lang_debugger-一个调试适配器，还包括用于执行nullc程序的语言运行时●nullc_lang_client-包含nullc_lang_server和nullc_lang_debugger的VisualStudioCode扩展适配器

APPL: 一种扩展Python的编程语言，旨在以自然、直观、方便和高效的方式在程序中利用大型语言模型（如GPT）

:一种扩展Python的编程语言，旨在以自然、直观、方便和高效的方式在程序中利用大型语言模型（如GPT）主要特征通过与Python无缝集成实现可读性和可维护性：APPL将自然语言提示无缝嵌入到Python程序中，保持提示的可读性，同时继承宿主编程语言的模块化、可重用性、动态性和生态系统。灵活及时的工程：除了允许使用Python控制流和提示的模块化分解之外，APPL还提供提示编码助手，以模块化和可维护的方式促进提示编程。通过异步计算自动并行化：APPL异步安排LLM调用，利用它们之间潜在的独立性来促进高效的并行化。这减轻了用户手动管理同步的负担，几乎不需要额外的工作。平滑的工具调用集成：APPL提供了直观的方法将Python函数转换为LLM可以调用的工具，使用户可以轻松地将现有的Python库和函数与LLM集成。跟踪和故障恢复：APPL跟踪LLM调用的执行并支持从故障中恢复，这对于LLM编程范例中的调试和错误处理至关重要。更多功能：APPL还为使用的多个LLM后端提供统一的接口litellm，使用的结构化生成instructor以及许多其他功能。

Roblox借助LLM语言模型发布实时人工智能聊天翻译器

Roblox借助LLM语言模型发布实时人工智能聊天翻译器Roblox首席技术官丹-斯特曼（DanSturman）说，该翻译器的目标是让Roblox用户更容易理解对方在说什么，从而让他们在相互交流时感觉更舒适。翻译器会自动翻译聊天内容，但用户可以点击图标查看原始信息。"我们知道，当用户用自己的语言与他人交谈或互动时，参与度就会提高，"Sturman说。"我们借鉴了这一理念，并通过自动翻译消除了语言障碍。"Roblox首先建立了一个基于转换器的大型语言模型(LLM)，该模型通过公开数据和内部数据进行训练。它将LLM置于一个专家混合（MoE）架构中，这是一个运行多个翻译应用程序的环境，每个应用程序都是一种语言的专家。Sturman说，考虑到他们项目的规模，他的团队认为建立自己的模型比修改现成的LLM更容易。斯图尔曼说，Roblox会监控聊天内容（出于信任和安全考虑），如果翻译不尽完美，可以得到反馈。他补充说，增加聊天翻译人工智能"不会改变我们的隐私和安全流程，违禁词语仍会被屏蔽"。Roblox在过去几年中一直在努力吸引较为年长的用户，并一直在使用生成式人工智能模型来增强用户体验。去年，它为开发者推出了一款人工智能聊天机器人助手，还能自动将图像资产（如建筑物上的文字）翻译成用户的默认语言。斯图尔曼希望翻译模式最终能超越单纯的文本聊天翻译。"未来，我们可以使用人工智能将不合规的[违禁]词语翻译成合规词语，或者将其用于语音聊天的实时语音翻译，还有很多可能性。"其他公司也在开发人工智能翻译模型。Meta发布了语音到文本和文本到文本的翻译器SeamlessM4T，可处理近100种语言。Google的通用语音模型也能翻译约100种语言，并已部署在YouTube上翻译字幕。...PC版：https://www.cnbeta.com.tw/articles/soft/1416349.htm手机版：https://m.cnbeta.com.tw/view/1416349.htm