基于擴(kuò)張卷積和Transformer的視聽融合語(yǔ)音分離方法

摘要： 為了提高語(yǔ)音分離的效果，除了利用混合的語(yǔ)音信號(hào)，還可以借助視覺信號(hào)作為輔助信息。這種融合了視覺與音頻信號(hào)的多模態(tài)建模方式，已被證實(shí)可以有效地提高語(yǔ)音分離的性能，為語(yǔ)音分離任務(wù)提供了新的可能性。為了更好地捕捉視覺與音頻特征中的長(zhǎng)期依賴關(guān)系，并強(qiáng)化網(wǎng)絡(luò)對(duì)輸入上下文信息的理解，本文提出了一種基于一維擴(kuò)張卷積與Transformer的時(shí)域視聽融合語(yǔ)音分離模型。將基于頻域的傳統(tǒng)視聽融合語(yǔ)...