影象去噪是計算機視覺領域的傳統方向，對於可見光影象、影片、核磁影象等的處理仍應用廣泛，在工業和學術界引起很多人的關注，基於BM3D(block-matching 3D ，2007)框架的系列演算法是該領域的著名方法，其結合影象非區域性相似的屬性和變換域的稀疏表示，在深度學習用於CV各領域的今天仍有用武之地。

今天新出的論文『A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods』，對傳統的影象去噪方法和深度學習方法進行了綜述和比較，考察了191篇文獻，相信對研究該方向的朋友定有幫助。

該文作者資訊：

作者來自理海大學和華南理工大學。

論文連結：https://arxiv.org/abs/2011.03462程式碼連結：https://github.com/ZhaomingKong/Denoising-Comparison

影象去噪旨在給定噪聲影象恢復原影象，單在噪聲模型難以估計的情況下，利用影象的 NLSS（非區域性自相似） 屬性成為方法的主流。亦即自然影象內部含有相似的影象塊，利用此特點恢復源影象，NLSS先驗與補丁表徵示例：

傳統影象去噪方法（成功的BM3D框架的眾多方法）流程：

即噪聲影象經過Grouping、Collaborative filtering、Aggregation，得到結果影象。

傳統的多維影象資料的去噪器：

基於DNN去噪方法及應用：

具有三個卷積層的簡單CNN去噪框架圖解：

該文詳盡總結了用於評測結果的人工合成和真實世界的多維影象去噪資料集（具體出處和下載方式請參考原論文）：

具有代表性的多維影象去噪方法和資料集的發展史：

部分資料集的示例影象：

另外為評估演算法，作者還推出了自己收集的IOCI資料集：

多個方法在真實彩色影片資料集上的評比詳細結果：

另外，對於影象去噪PSNR 和 SSIM 並不能完美反應影象質量，作者還做了大量的視覺效果評估：

1）CC15 資料集(PSNR) （圖8）

2）PolyU 資料集(PSNR) （圖9）

3）IOCI’s IPHONE 5S 資料集(PSNR) （圖10）

4）IOCV 資料集（彩色影片去噪）（圖11）

同樣，作者使用使用者調查打分的方式，得到了人為評分結果：

FastDVDNet演算法在計算量較低的前提下，效果表現也一致的好。

在 CAVE 資料集上的高噪聲水平σ=100時，對基於張量的去噪器的比較結果：（圖12）

CAVE 資料集上，高斯噪聲 σ = {10, 30, 50, 100}時的質量和計算時間（分鐘）對比結果：（表7）

高斯噪聲下 MSt-SVD 和 QRNN3D 的平均PSNR/SSIM 值和計算時間（分鐘）σ∈{10，20}（表8）

在真實世界 HHD 資料集上，MSI 去噪方法比較結果：（圖13）

σ≥11%時高噪聲水平下的去噪效能比較：（圖14）

T1w、T2w和PDw資料被Rician噪聲破壞的情況下，不同方法的平均PSNR/SSIM 值 和 計算時間(s)（表9）

在估計噪聲水平σ = 19% 的合成Brainweb T1w 資料上對比較方法進行視覺化評估（圖15）

在估計噪聲水平σ=3% 的真實OAS1 0112 T1w資料上對比較方法進行視覺化評估（圖16）

在估計噪聲水平σ = 4.5% 的真實 OAS1 0092 T1w資料上對比較方法進行視覺化評估（圖17）

CBM3D1 在 σ∈[10，30]時五個資料集上的 PSNR 和 SSIM 值對比（圖18）

PSNR 和 SSIM 6種不同實現的（圖19）

使用和不使用影象大小調整策略的 CMSt-SVD 方法的視覺效果對比：（圖20）

當一組中的所有補丁都相同時，T-HOSVD 應用於無噪聲影象時的過度平滑效果圖（圖21）

最終，作者總結髮現：

1）BM3D系演算法在效能和效果上均展示出不俗的表現；

2）對於僅從噪聲觀察中學習的傳統降噪器，改進的奇異值分解（M-SVD）方法能夠與許多基於張量的方法產生相似的結果；

3）基於DNN的方法雖然在合成數據集上訓練（因為所需標籤資料在實際場景中是不存在的，只能採用合成噪聲影象的方法），但在實際測試中仍表現出強大的泛化能力。

該文內容涉及廣泛，非常值得從事影象去噪的朋友研究。