異構平臺下卷積神經(jīng)網(wǎng)絡推理模型自適應劃分和調(diào)度方法

摘要： 針對卷積神經(jīng)網(wǎng)絡（CNN）在異構平臺執(zhí)行推理時存在硬件資源利用率低、延遲高等問題，提出一種CNN推理模型自適應劃分和調(diào)度方法。首先，通過遍歷計算圖提取CNN的關鍵算子完成模型的自適應劃分，增強調(diào)度策略靈活性；然后，基于性能實測與關鍵路徑-貪婪搜索算法，在CPU-GPU異構平臺上根據(jù)子模型運行特征選取最優(yōu)運行負載，提高子模型推理速度；最后利用張量虛擬機（TVM）中跨設備調(diào)度機制，... （共8頁）