一種融合視覺(jué)Transformer和擴(kuò)散模型的單視點(diǎn)內(nèi)窺鏡手術(shù)光場(chǎng)重建方法(特邀)
激光與光電子學(xué)進(jìn)展
頁(yè)數(shù): 11 2024-08-25
摘要: 針對(duì)內(nèi)窺鏡手術(shù)中單一視角圖像深度估計(jì)不確定性與遮擋導(dǎo)致的手術(shù)場(chǎng)景三維感知難題,提出了一種融合視覺(jué)Transformer和條件擴(kuò)散模型的單視點(diǎn)多平面圖(MPI)表征方法,用以進(jìn)行內(nèi)窺鏡手術(shù)光場(chǎng)重建。該方法首先利用視覺(jué)Transformer將輸入的單視角圖像令牌化,從而分解為多個(gè)圖像塊,并通過(guò)多頭注意力機(jī)制提取局部與全局相結(jié)合的關(guān)聯(lián)特征。然后,利用多尺度卷積解碼器將圖像塊特征從粗到... (共11頁(yè))