- 开源以最大化 Kubernetes 中的 GPU 利用率
- 开源以最大化 Kubernetes 中的 GPU 利用率
nos是开源模块,用于以优化方式在 Kubernetes 上运行 AI 工作负载,提高 GPU 利用率,降低基础设施成本并提高工作负载性能。
目前,可用的功能有:
:允许调度请求部分 GPU 的 Pod。GPU 分区是根据集群中挂起和运行的 Pod 实时自动执行的,这样 Pod 就可以只请求绝对必要的资源,GPU 始终得到充分利用。
:通过允许命名空间从其他命名空间借用保留资源的配额(只要它们不使用)来增加集群上运行的 Pod 数量。