一種GPU算力管理方法、介質、設備及系統(tǒng)

基本信息

申請?zhí)?/td> CN202210572151.9 申請日 -
公開（公告）號 CN114661482A 公開（公告）日 2022-06-24
申請公布號 CN114661482A 申請公布日 2022-06-24
分類號 G06F9/50（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 羅宏智;梅亮;許春香;羅天 申請（專利權）人 成都索貝數(shù)碼科技股份有限公司
代理機構 成都九鼎天元知識產權代理有限公司 代理人 -
地址 610041四川省成都市高新區(qū)新園南二路2號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種GPU算力管理方法、介質、設備及系統(tǒng)，屬于容器編排領域，包括流程：測量流程：設置測量流程用于測量所需GPU、CPU和內存資源，并將測量結果傳遞給Ray框架；資源分配和服務調度流程：在巡檢任務負載情況和節(jié)點資源使用情況后，按照測量結果進行資源分配和服務調度，來滿足任務執(zhí)行需要。本發(fā)明可以大大提高資源利用率，使得幾十種模型在共存情況下資源可以得到高效使用，以節(jié)省算力資源，并且實現(xiàn)任務消費吞吐量最大化。本發(fā)明可以提高資源利用率，節(jié)省算力資源，實現(xiàn)任務消費吞吐量最大化。