自动化分布式深度学习系统,在分布式集群上自动化训练深度学习模型
自动化分布式深度学习系统,在分布式集群上自动化训练深度学习模型
DLRover 自动在分布式集群上训练深度学习模型。它可以帮助模型开发人员专注于模型架构,而无需关心任何工程方面的事情,比如硬件加速、分布式运行等。现在,它为 K8s/Ray 上的深度学习训练作业提供自动化运维。主要特点为
Automatic Resource Optimization自动优化作业资源,提高训练性能和资源利用率。
动态数据分片,动态分配训练数据给每个worker而不是平分,更快的worker更多数据。
容错,单节点故障转移,无需重新启动整个作业。
自动缩放,在节点级别和 CPU/内存级别自动扩展/缩减资源。
|#机器学习