導讀:在 AI 容器應用落地與發展論壇上,華為發布 Flex:ai AI 容器軟件。
11 月 21 日消息,在 AI 容器應用落地與發展論壇上,華為發布 Flex:ai AI 容器軟件,通過算力切分技術,將單張 GPU / NPU 算力卡切分為多份虛擬算力單元,切分粒度精準至 10%,實現了單卡同時承載多個 AI 工作負載,并可聚合集群內各節點的空閑 XPU 算力聚合形成“共享算力池”。
Flex:ai 是一款基于 Kubernetes(開源容器編排平臺)構建的 XPU(各種類型處理器)池化與調度軟件,主要是通過對 GPU、NPU 等智能算力資源的精細化管理與智能調度,實現對 AI 工作負載與算力資源的“精準匹配”。
相比英偉達旗下 Run:ai 公司的核心技術,華為認為 Flex:ai 具備兩大獨特優勢:
一是虛擬化。除了在本地虛擬化技術中實現算力單元的按需切分,Flex:ai 獨有的“拉遠虛擬化”技術,可以不做復雜的分布式任務設置,將集群內各節點的空閑 XPU 算力聚合形成“共享算力池”。
二是智能調度。Flex:ai 的智能資源和任務調度技術,可以自動感知集群負載與資源狀態,結合 AI 工作負載的優先級、算力需求等多維參數,對本地及遠端的虛擬化 GPU、NPU 資源進行全局最優調度,滿足不同 AI 工作負載對資源的需求。
從發布會獲悉,Flex:ai 將在發布后同步開源在魔擎社區中。