自动化分布式深度学习系统,在分布式集群上自动化训练深度学习模型
自动化分布式深度学习系统,在分布式集群上自动化训练深度学习模型DLRover自动在分布式集群上训练深度学习模型。它可以帮助模型开发人员专注于模型架构,而无需关心任何工程方面的事情,比如硬件加速、分布式运行等。现在,它为K8s/Ray上的深度学习训练作业提供自动化运维。主要特点为AutomaticResourceOptimization自动优化作业资源,提高训练性能和资源利用率。动态数据分片,动态分配训练数据给每个worker而不是平分,更快的worker更多数据。容错,单节点故障转移,无需重新启动整个作业。自动缩放,在节点级别和CPU/内存级别自动扩展/缩减资源。#机器学习