← 回論文發表吳牧恩教授
白話導讀 IEEE Trans. on CSVT SCI · IF 5.859 · Q1 2023/06

讓彩色照片「帶路」,把糊掉的深度圖修回來

MSF-Net: Multi-Scale Feedback Reconstruction for Guided Depth Map Super-Resolution

Jin Wang, Chenyang Li, Yunhui Shi, Dan Wang, Mu-En Wu, Nam Ling, Baocai Yin

一句話:深度圖解析度低、細節糊;這篇用同場景的高解析彩色影像當導引,設計出多尺度回饋網路 MSF-Net,並用兩種注意力機制決定「哪些尺度該看、深度與色彩該怎麼交流」,把深度圖的細節補回來。

先問:這在解什麼問題?the problem

深度圖(depth map)記錄的是「畫面中每個點離鏡頭多遠」,是 3D 重建、AR 與機器視覺的基礎。麻煩在於:感測器拿到的深度圖解析度往往很低,細節模糊。

好消息是,同一個場景的高解析度彩色影像通常很容易取得。於是就有了「導引式深度圖超解析(Guided Depth map Super-Resolution, GDSR)」這條主流路線——用彩色影像當「嚮導」,去指引深度圖的重建。難題也在這裡:從彩色影像抽出來的導引資訊,要怎麼用才算用得夠徹底

怎麼做?多尺度回饋網路 MSF-Netthe method

作者先設計了 MF(multi-scale feedback)模組,再把 MF 區塊依序串接MSF-Net,讓特徵在一層層傳遞中被反覆萃取與精修。

MF

多尺度回饋

用平行的取樣層,加上跨多個時間步的回饋連結,學到不同尺度的資訊,同時減少資訊在網路傳遞中的流失。

IA

跨尺度注意力

inter-scale attention:自動挑選並融合不同尺度中「重要」的特徵,而不是一視同仁地平均。

CAC

跨域注意力調和

cross-domain attention conciliation:在每個 MF 區塊之後,讓深度特徵與對應的彩色特徵互相交流。

低解析深度圖 + 彩色影像 同場景輸入 MF 區塊串接 多尺度+回饋 IA 挑選融合 跨尺度注意力 CAC 深度↔彩色 跨域交流 高解析深度圖 重建輸出
MSF-Net:低解析深度圖與同場景彩色影像一起進入串接的 MF 區塊,透過 IA 選擇跨尺度特徵、CAC 讓深度與彩色特徵互動,最後重建出高解析深度圖。

結果如何?results

作者在合成資料集實拍資料集上都做了評估,大量實驗結果顯示所提方法在客觀指標主觀畫質兩方面都達到當時的最佳水準(state-of-the-art)。

誠實補一句:論文摘要並未公布具體的數值(例如 PSNR/RMSE),因此本頁不列任何數字;要看完整的實驗表格,請以正式發表版本為準。
閱讀原始論文(IEEE Xplore) →
本頁為方便一般讀者理解的「白話導讀」,非論文原文;技術細節、實驗數據與完整結論請以正式發表版本為準。
出處:Jin Wang, Chenyang Li, Yunhui Shi, Dan Wang, Mu-En Wu, Nam Ling, Baocai Yin, MSF-Net: Multi-Scale Feedback Reconstruction for Guided Depth Map Super-Resolution, IEEE Transactions on Circuits and Systems for Video Technology, Jun. 2023.