責編 | 兮

近年來，基於卷積神經網路（Convolutional Neural Network，CNN）的深度學習演算法在單張自然影象超分辨（Single Image Super Resolution，SISR）領域取得了巨大的進展，可將輸入的低解析度模糊影象上取樣為細節清晰的高解析度影象。目前，這些深度學習超分辨演算法正快速運用到顯微成像領域，例如：將單張寬場熒光顯微影象作為超分辨神經網路的輸入，即可得到突破衍射極限解析度的超分辨影象輸出【1, 2】。但與自然影象超分辨任務有所區別的是，超分辨熒光顯微成像需要的不僅是視覺效果上的提升，更重要的是超分辨重建的結果必須保真、可信，才能服務於生物醫學研究。然而，面對複雜度多樣的生物結構，以及不同信噪比和解析度的顯微成像條件，現有超分辨神經網路模型與傳統超分辨成像方法相比孰優孰劣？以及在不同成像條件下，生物學家在多大程度上能夠信任這些模型的輸出結果？是否可以利用顯微成像的特點進一步提升超分辨神經網路的效能？以及這些超分辨神經網路是否能應用到生物醫學研究中，並發現新現象？這些基本問題在這一新興領域依然處於未知。

2021年1月21日，中國科學院生物物理所李棟課題組與清華大學自動化系、清華大學腦與認知科學研究院戴瓊海課題組在Nature Methods雜誌以長文（Article）形式發表題為Evaluation and development of deep neural networks for image super-resolution in optical microscopy的論文，用自主開發的多模態結構光照明超分辨顯微鏡（Multi-modality Structured Illumination Microscopy）採集了可用於深度學習模型訓練的高質量公開資料集BioSR，並提出測評矩陣（assessment matrix）方法，從多個維度綜合分析了現有超分辨卷積神經網路模型對於顯微影象的超分辨效能，在此基礎上，該論文深度挖掘影象超分辨過程中的頻域特徵，提出傅立葉域注意力卷積神經網路（Deep Fourier Channel Attention Network,DFCAN）和傅立葉域注意力生成對抗網路（Deep Fourier Generative Adversarial Network,DFGAN），相較於其他超分辨CNN模型，DFCAN和DFGAN可以在不同成像條件下實現最優的顯微影象超分辨預測和結構光超分辨影象重建效果，進一步提升了超分辨活細胞成像的效能，並觀測到線粒體內脊、線粒體擬核、內質網、微絲骨架等生物結構的動態互作新行為。

為測評現有多種超分辨神經網路在顯微影象超分辨任務中的表現，以及建立基於深度學習的顯微影象超分辨演算法研究生態，李棟/戴瓊海聯合課題組首先利用自主搭建的整合了TIRF-SIM、Nonlinear-SIM【3】和GI-SIM【4】等多種超分辨成像模態的多模態結構光超分辨顯微鏡系統對不同生物結構進行成像，建立了一個包含四種不同複雜度的生物結構、九檔信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）解析度的高質量超分辨顯微影象公開資料集，命名為BioSR。以此為基礎，該團隊測試了多個現有超分辨神經網路模型的效能，如SRCNN、EDSR、Pix2Pix、RCAN等，並提出測評矩陣（assessment matrix）方法，將超分辨神經網路模型與傳統Linear-SIM和Nonlinear-SIM的效果進行比較，得到了不同模型的優越區域（priority region），即給出了不同模型實現足夠好的超分辨成像效果，能夠用於日常生物成像實驗的成像條件。

圖1. 傅立葉域注意力機制框架圖。圖示為DFCAN和DFGAN中的傅立葉域注意力機制（Fourier Channel Attention Mechanism）實現方式，即對網路中的特徵圖做傅立葉變換後取強度譜，再透過全域性平均池化（global average pooling）和篩選機制（self-gating mechanism）獲得每個特徵圖的權重後對其進行自適應加權。

圖2. DFCAN與RCAN的SISR效果對比。(a) 寬場照明（WF）顯微影象、真值超分辨顯微影象（GT-SIM）、RCAN超分辨影象、DFCAN超分辨影象對比；(b) 圖a中箭頭示意的熒光強度輪廓線，DFCAN超分辨影象的結果比RCAN更接近GT-SIM；(c) DFCAN超分辨影象在均方差（NRMSE），結構相似度（MS-SSIM），和解析度（Resolution）等指標上均比RCAN更接近GT-SIM。

但透過分析評測矩陣結果發現，現有超分辨神經網路模型的優越區域主要集中在低複雜度生物結構和提升2倍解析度（即Linear-SIM）的成像條件下，而在生物成像實驗通常使用的中、高信噪比條件下的效能則低於傳統超分辨成像方法。為進一步拓展卷積神經網路在顯微影象超分辨中的適用範圍，提升超分辨成像和重建效果，李棟/戴瓊海聯合課題組基於高、低解析度影象頻譜覆蓋範圍的顯著差異，提出了傅立葉域注意力卷積神經網路模型（DFCAN）和傅立葉域注意力生成對抗網路模型（DFGAN），實現了比其它超分辨神經網路模型更魯棒的顯微影象超分辨預測效果，依據測評矩陣結果，其優越區域可以拓展至中、高信噪比成像條件，可在實際生物成像實驗中替代現有超分辨成像方法，大大拓展了深度學習超分辨成像方法的適用範圍。

圖3. 本文提出的傅立葉域注意力生成對抗網路（DFGAN）超分辨成像方法在低信噪比條件下的成像效果優於海森結構光超分辨方法（Hessian-SIM）【5】。

使用DFCAN和DFGAN單張顯微影象超分辨成像方法（DFCAN-SISR和DFGAN-SISR），李棟/戴瓊海聯合課題組在低激發功率的拍攝條件下對COS-7細胞中的線粒體內膜和線粒體擬核進行了動態活體雙色成像，成像時程（>1000張超分辨影象）達到傳統活細胞超分辨成像方法的10倍以上，併成功觀察到伴隨著線粒體內脊形變的擬核分離和聚合現象，這表明在動物細胞內，線粒體內脊的形變可能調控著線粒體擬核的分佈和形態。此外，他們還觀察到在活細胞中環形線粒體會在細胞質流的推動下進行雙向旋轉，這表明除植物細胞外，動物細胞一定程度上也用渦旋細胞質流來調節胞內穩態。

圖4. DFCAN和DFGAN超分辨活細胞成像示例。（a）COS-7細胞中線粒體內脊和線粒體擬核的雙色DFCAN/DFGAN-SISR成像揭示線粒體內脊形變，以及隨之發生的擬核分離和聚合現象；（b）GI-SIM超分辨活細胞成像發現類似的內脊形變與擬核分離協同的動態過程，驗證了DFCAN/DFGAN-SIM與GI-SIM超分辨活細胞成像效果類似，可獲得高保真超分辨動態資訊。

DFCAN和DFGAN還可擴充套件用於結構光照明原始資料的超分辨重建（DFCAN-SIM和DFGAN-SIM），即輸入多張結構光照明原始資料，輸出對應超分辨影象。相較於SISR，DFCAN-SIM和DFGAN-SIM的超分辨重建結果更為準確。李棟/戴瓊海聯合課題組利用DFCAN-SIM和DFGAN-SIM在低激發功率的拍攝條件下對活細胞進行多色超分辨成像，發現COS-7細胞內吞過程中細胞微絲（F-actin）和網格蛋白小窩（CCPs）在內吞初始階段相互作用較少，而在內吞即將結束時二者之間的相互作用大量增加；驗證了線粒體的分裂和融合往往發生在其與內質網的接觸位點附近。這些實驗結果表明DFCAN-SIM和DFGAN-SIM能夠在更低熒光訊號成本的成像條件下獲得與傳統超分辨顯微鏡技術媲美的成像效果，從而擴大傳統超分辨成像技術的適用範圍，併為超分辨光學顯微成像技術的進一步發展開拓新的技術路徑。

圖5. 基於DFCAN和DFGAN結構光超分辨重建的活細胞成像。(a) COS-7細胞中線粒體和內質網的雙色成像；(b) 在內質網與線粒體接觸位點線粒體分裂的延時影象；(c) 在內質網與線粒體接觸位點線粒體融合的延時影象。

清華大學自動化系博士生喬暢、中國科學院生物物理研究所副研究員李迪、博士後郭玉婷、博士生劉衝為該論文共同第一作者，中國科學院生物物理所李棟研究員和清華大學自動化系戴瓊海教授為共同通訊作者。李棟課題組現有多個科研崗位需求，歡迎光學工程、自動化、物理、細胞生物學等方向的優秀博士生來電諮詢申請（[email protected]）。

原文連結：

https://doi.org/10.1038/s41592-020-01048-5

參考文獻

1.Weigert, M. et al. Content-aware image restoration: pushing the limits of fluorescence microscopy.Nat Methods 15, 1090-1097 (2018).2.Wang, H. et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy.Nat Methods 16, 103-110 (2019).3.Li, D. et al. Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics. Science 349, aab3500 (2015).4.Guo, Y. et al. Visualizing Intracellular Organelle and Cytoskeletal Interactions at Nanoscale Resolution on Millisecond Timescales. Cell 175, 1430-1442 e1417 (2018).5.Huang, X. et al. Fast, long-term, super-resolution imaging with Hessian structured illumination microscopy. Nat Biotechnol 36, 451-459 (2018).

製版人：老翅膀