:基于PyTorch构建的高性能优化器库,可轻松实现函数优化和基于梯度的元学习

:基于PyTorch构建的高性能优化器库,可轻松实现函数优化和基于梯度的元学习 它包括两个主要功能: TorchOpt 提供了功能优化器,可以为 PyTorch 启用类似 JAX 的可组合功能优化器。使用 TorchOpt,可以轻松地在 PyTorch 中使用函数式优化器进行神经网络优化,类似于 JAX 中的Optax。 借助函数式编程的设计,TorchOpt 为基于梯度的元学习研究提供了高效、灵活且易于实现的可微优化器。它在很大程度上减少了实现复杂的元学习算法所需的工作量。

相关推荐

封面图片

Hidet是一个强大的深度学习编译器,可简化在现代加速器(例如 NVIDIA GPU)上实现高性能深度学习运算符的过程。借助 P

Hidet是一个强大的深度学习编译器,可简化在现代加速器(例如 NVIDIA GPU)上实现高性能深度学习运算符的过程。借助 PyTorch 2.0 中的新功能torch.compile(...),将新型编译器集成到 PyTorch 中比以往任何时候都更容易Hidet 现在可以用作torch.compile(...)加速 PyTorch 模型的后端,这对于想要提高其推理性能的 PyTorch 用户来说是一个有吸引力的选择模型,特别是对于那些还需要实施极其优化的自定义运算符的人。 | #编译器

封面图片

( flwr) 是用于构建联邦学习系统的 #框架 。Flower 的设计基于以下几个指导原则:

( flwr) 是用于构建联邦学习系统的 #框架 。Flower 的设计基于以下几个指导原则: 可定制:联邦学习系统因一个用例而异。Flower 允许根据每个单独的用例的需要进行各种不同的配置。 可扩展:Flower 起源于牛津大学的一个研究项目,因此在构建时考虑了 AI 研究。许多组件可以扩展和覆盖以构建新的最先进的系统。 与框架无关:不同的机器学习框架具有不同的优势。Flower 可以与任何机器学习框架一起使用,例如PyTorch、 TensorFlow、Hugging Face Transformers、PyTorch Lightning、MXNet、scikit-learn、JAX、TFLite,甚至 适合喜欢手动计算梯度的用户的原始NumPy 。 可以理解:Flower 的编写考虑了可维护性。鼓励社区阅读和贡献代码库

封面图片

:完全重写的Keras代码库,基于模块化后端架构进行重构,可以在任意框架上运行Keras工作流,包括TensorFlow、JAX

:完全重写的Keras代码库,基于模块化后端架构进行重构,可以在任意框架上运行Keras工作流,包括TensorFlow、JAX和PyTorch。 新功能包括:完整的Keras API,适用于TensorFlow、JAX和PyTorch;跨框架的深度学习低级语言;与JAX、PyTorch和TensorFlow原生工作流的无缝集成;支持所有后端的跨框架数据流水线;预训练模型等

封面图片

Whisper JAX:这是一个对OpenAI开源的Whisper模型网页链接 的优化版本,它针对GPU和TPU做了优化,性能提

Whisper JAX:这是一个对OpenAI开源的Whisper模型网页链接 的优化版本,它针对GPU和TPU做了优化,性能提升了70倍,最快1小时的音频15秒能完成转录! 提速的关键: 1. 批量处理 Transformers 实现了一种批处理算法,其中单个音频样本被分成 30 秒的片段,然后分批转录这些块。这种批处理算法比 OpenAI(按顺序转录块)提供高达 7 倍的增益 2. JAX优于PyTorch JAX 是一个用于高性能机器学习研究的自动微分库,通过即时 (JIT) 编译 Whisper,比PyTorch在 GPU 上获得了 2 倍的速度提升 3. TPUs 优于 GPUs 张量处理单元 (TPU) 是由 Google 设计的 ML 加速器, TPU 专为矩阵乘法而构建,与更通用的 GPU 相比具有显着优势。在 TPU v4-8 上运行 Whisper JAX 比在 NVIDIA A100 上快 5 倍! 全部加在一起:批处理 7 倍 JAX 2 倍 TPU 5 倍速度增益 => 整体速度提升 70 倍 | |

封面图片

:一个深度学习库,利用可组合的编译器实现高性能。它以极快的速度运行,支持Metal和CUDA,使用Rust编写,直接与底层API

:一个深度学习库,利用可组合的编译器实现高性能。它以极快的速度运行,支持Metal和CUDA,使用Rust编写,直接与底层API交互,无需中间层。 其核心思想是提前编译所有内容,采用静态计算图实现惰性执行,使得编译器可以全局优化,实现了高效的核心运算与编译时间的分离。

封面图片

:易于使用的 PyTorch 库,可轻松编写、微调和实验LLM模型。

:易于使用的 PyTorch 库,可轻松编写、微调和实验LLM模型。 该库提供了多种功能,包括使用 native-PyTorch 实现的流行语言模型,支持各种格式的复原,以及提供训练和评估工具,例如 HF 格式的检查点支持。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人