OneFlow v0.9.0更新,分布式深度学习框架
OneFlowv0.9.0更新,分布式深度学习框架此更新包含640个提交和以下亮点:1.OneFlowv0.9.0增加了86个与PyTorch对齐的新API接口和运算符,并修复了104个与运算符兼容性相关的错误,从而提供了更好的PyTorchAPI和模型兼容性。在v0.9.0中,用户可以一键将更多PyTorch模型迁移到OneFlow,获得更快的性能。2.支持一键迁移StableDiffusion、GLM、YOLOv5等到OneFlow。3.更方便的模型迁移。Oneflow.load支持torch.save直接加载模型。4.通过新增的oneflow.mock_torch模块和mock方法,oneflow可以在不改变原有PyTorch脚本的情况下,一键迁移包含多个脚本的复杂PyTorch模型。5.GlobalTensor增加了一系列方便分布式编程的接口和方法,并修复了已知的相关bug。6.TheGraph发布了自动并行(version1)的新特性,支持自动搜索指定Placement下最快的SBP。使用GlobalTensor编写分布式模型时,用户无需考虑并行性。7.TheGraph添加了一系列与内存、执行速度、管道屏蔽和编译速度相关的优化,以提高性能并减少内存开销。8.Graph提供了一系列辅助调试的功能,包括分析内存日志、显示编译阶段的进度、计算图等。9.OneFlowIR提供了更多的编译优化功能。10.OneFlow的错误提示更加人性化,支持高亮显示错误内容,简化系统内部不必要的信息细节。就此而言,您可以直观地了解错误的位置和类型。11.增加了一系列算子优化和系统优化,包括Eager指令调度、高性能CUDA内核、开放多个内存池等。#框架