：用 PyTorch 轻松微调大语言模型

：用 PyTorch 轻松微调大语言模型 PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。 torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。 torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。 torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。

：一个 Flutter 库，用于运行 ONNX 模型，可以将 Pytorch、Tensorflow 等主流机器学习框架训练的模型

：一个 Flutter 库，用于运行 ONNX 模型，可以将 Pytorch、Tensorflow 等主流机器学习框架训练的模型轻松转换为 ONNX 格式，并可在 iOS、Android、Web、Linux、Windows 和 macOS 等平台上原生运行，无需进行任何修改

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。 主要提供： 为多个本地 LLM 模型提供高性能、高效和可靠的服务 可选择通过 CUDA 或 Metal 进行 GPU 加速 可配置的 LLM 完成任务（提示、召回、停止令牌等） 通过 HTTP SSE 流式传输完成响应，使用 WebSockets 聊天 使用 JSON 模式对完成输出进行有偏差的采样 使用向量数据库（内置文件或 Qdrant 等外部数据库）进行记忆检索 接受 PDF 和 DOCX 文件并自动将其分块存储到内存中 使用静态 API 密钥或 JWT 标记确保 API 安全 简单、单一的二进制+配置文件服务器部署，可水平扩展 附加功能： 用于轻松测试和微调配置的 Web 客户端 用于本地运行模型的单二进制跨平台桌面客户端

开源色情图像检测引擎这是Bumble的专用检测器™模型的存储库 - 一个可以检测猥亵图像的图像分类器。

开源色情图像检测引擎 这是Bumble的专用检测器™模型的存储库 - 一个可以检测猥亵图像的图像分类器。 内部存储库已经过大量重构，并作为完全开源的项目发布，以允许更广泛的社区使用和微调他们自己的私有检测器模型。可以下载预训练的已保存模型和检查点

：基于PyTorch构建的高性能优化器库，可轻松实现函数优化和基于梯度的元学习

：基于PyTorch构建的高性能优化器库，可轻松实现函数优化和基于梯度的元学习 它包括两个主要功能： TorchOpt 提供了功能优化器，可以为 PyTorch 启用类似 JAX 的可组合功能优化器。使用 TorchOpt，可以轻松地在 PyTorch 中使用函数式优化器进行神经网络优化，类似于 JAX 中的Optax。 借助函数式编程的设计，TorchOpt 为基于梯度的元学习研究提供了高效、灵活且易于实现的可微优化器。它在很大程度上减少了实现复杂的元学习算法所需的工作量。

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式 主要特征 适用于你喜爱的模型的即用型 API：部署和服务开源基础模型 - 包括 LLaMA、MPT 和 Falcon。使用 Scale 托管模型或部署到您自己的基础设施。 微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。 优化推理：LLM Engine 提供推理 API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。 开源集成： 使用单个命令部署任何。 即将推出的功能 K8s 安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问 Scale 的托管基础​​设施。 快速冷启动时间：为了防止 GPU 闲置，LLM Engine 在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。 成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。