GNNSched:面向GPU的圖神經(jīng)網(wǎng)絡推理任務調(diào)度框架

摘要： 由于頻繁的顯存訪問，圖神經(jīng)網(wǎng)絡GNN在GPU上運行時往往資源利用率較低。現(xiàn)有的推理框架由于沒有考慮GNN輸入的不規(guī)則性，直接適用到GNN進行推理任務共置時可能會超出顯存容量導致任務失敗。對于GNN推理任務，需要根據(jù)其輸入特點預先分析并發(fā)任務的顯存占用情況，以確保并發(fā)任務在GPU上的成功共置。此外，多租戶場景提交的推理任務亟需靈活的調(diào)度策略，以滿足并發(fā)推理任務的服務質(zhì)量要求。為了... （共11頁）