具有高信噪比的熒光成像已成為生物現(xiàn)象精確可視化和分析的基礎。然而，不可避免的噪聲對成像靈敏度提出了巨大的挑戰(zhàn)。

清華大學的研究團隊提供了空間冗余去噪 Transformer（SRDTrans），以自監(jiān)督的方式去除熒光圖像中的噪聲。

該團隊提出了基于空間冗余的采樣策略來提取相鄰的正交訓練對，消除了對高成像速度的依賴。然后，他們設計了一種輕量級時空 Transformer 架構(gòu)，以較低的計算成本捕獲遠程依賴性和高分辨率特征。

SRDTrans 可以恢復高頻信息，而不會產(chǎn)生過度平滑的結(jié)構(gòu)和扭曲的熒光痕跡。并且，SRDTrans 不包含任何關(guān)于成像過程和樣本的假設，因此可以輕松擴展到各種成像模式和生物應用。

該研究以「Spatial redundancy transformer for self-supervised fluorescence image denoising」為題，于 2023 年 12 月 11 日發(fā)布在《Nature Computational Science》。

活體成像技術(shù)的快速發(fā)展使研究人員能夠在微米甚至納米尺度上觀察生物結(jié)構(gòu)和活動。熒光顯微鏡作為一種非常流行的成像方法，由于其高時空分辨率和分子特異性，有助于發(fā)現(xiàn)一系列新的生理和病理機制。熒光顯微鏡的根本目標是獲得干凈、清晰的圖像，其中包含足夠的樣品信息，可以保證下游分析的準確性并支持令人信服的結(jié)論。

然而，受多種生物物理和生化因素的限制（例如，標記濃度、熒光團亮度、光毒性、光漂白等），熒光成像是在光子受限的條件下進行的，固有的光子散粒噪聲嚴重降低了圖像信噪比（SNR），特別是在低照度和高速觀察時。

已經(jīng)提出了各種方法來去除熒光圖像中的噪聲。基于數(shù)值濾波和數(shù)學優(yōu)化的傳統(tǒng)去噪算法性能不理想且適用性有限。過去幾年，深度學習在圖像去噪方面表現(xiàn)出了令人矚目的表現(xiàn)。

在使用真實值 (GT) 數(shù)據(jù)集進行迭代訓練后，深度神經(jīng)網(wǎng)絡可以學習噪聲圖像與其干凈對應圖像之間的映射。這種監(jiān)督方式在很大程度上依賴于配對的 GT 圖像。

在觀察生物體的活動時，獲得逐像素配準的干凈圖像是一個巨大的挑戰(zhàn)，因為樣本經(jīng)常經(jīng)歷快速的動態(tài)變化。為了緩解這一矛盾，人們提出了一些自監(jiān)督方法，從而在熒光成像中實現(xiàn)更適用和實用的去噪。

為了獲得更好的去噪性能，同時提取全局空間信息和長程時間相關(guān)性的能力至關(guān)重要，而由于卷積核的局部性，這是卷積神經(jīng)網(wǎng)絡（CNN）所缺乏的。此外，固有的譜偏差使得 CNN 傾向于優(yōu)先擬合低頻特征，而忽略高頻特征，不可避免地產(chǎn)生過度平滑的去噪結(jié)果。

清華大學的研究團隊提出了空間冗余去噪 Transformer（the spatial redundancy denoising transformer，SRDTrans）來解決這些困境。

圖：SRDTrans原理及性能評估。（來源：論文）

一方面，研究人員提出了一種空間冗余采樣策略，從兩個正交方向的原始延時數(shù)據(jù)中提取三維（3D）訓練對。

該方案不依賴于兩個相鄰幀之間的相似性，因此 SRDTrans 適用于非?？斓幕顒雍蜆O低的成像速度，這與該團隊之前提出的利用時間冗余的 DeepCAD 是互補的。

由于 SRDTrans 不依賴于任何有關(guān)對比度機制、噪聲模型、樣本動態(tài)和成像速度的假設。因此，它可以很容易地擴展到其他生物樣品和成像方式，例如膜電壓成像、單蛋白檢測、光片顯微鏡、共焦顯微鏡、光場顯微鏡和超分辨率顯微鏡。

另一方面，研究人員設計了一個輕量級時空變換網(wǎng)絡來充分利用遠程相關(guān)性。優(yōu)化的特征交互機制使該模型能夠用少量的參數(shù)獲得高分辨率的特征。與經(jīng)典 CNN 相比，所提出的 SRDTrans 具有更強的全局感知和高頻維護能力，能夠揭示以前難以辨別的細粒度時空模式。

該團隊在兩個代表性應用中展示了 SRDTrans 的卓越降噪性能。第一個是單分子定位顯微鏡（SMLM），相鄰幀是熒光團的隨機子集。

圖：將 SRDTrans 應用于實驗 SMLM 數(shù)據(jù)。（來源：論文）

另一種是大型 3D 神經(jīng)元群的雙光子鈣成像，體積速度低至 0.3Hz。廣泛的定性和定量結(jié)果表明，SRDTrans 可以作為熒光成像的基本去噪工具，從而觀察各種細胞和亞細胞現(xiàn)象。

圖：大神經(jīng)體積的高靈敏度鈣成像。（來源：論文）

SRDTrans 也有一些局限性，主要在于相鄰像素應具有近似結(jié)構(gòu)的基本假設。如果空間采樣率太低而無法提供足夠的冗余，SRDTrans 將失敗。另一個潛在的風險是泛化能力，SRDTrans 的輕量級網(wǎng)絡架構(gòu)更適合特定任務。

相信針對特定數(shù)據(jù)訓練特定模型是使用深度學習進行熒光圖像去噪的最可靠方法。因此，應該訓練新的模型，從而確保在成像參數(shù)、模態(tài)和樣本發(fā)生變化時獲得最佳結(jié)果。

隨著熒光指示劑的發(fā)展朝著更快的動力學方向發(fā)展，以監(jiān)測毫秒級的生物動力學來記錄這些快速活動所需的成像速度不斷增長。對于依賴時間冗余的去噪方法來說，獲得足夠的采樣率變得越來越具有挑戰(zhàn)性。該團隊的觀點是通過尋求利用空間冗余作為替代方案來填補這一空白，從而在更多成像應用中實現(xiàn)自我監(jiān)督去噪。

盡管空間冗余采樣的完美情況是空間采樣率比衍射極限的奈奎斯特采樣高兩倍，從而確保兩個相鄰像素具有幾乎相同的光學信號；但在大多數(shù)情況下，兩個空間下采樣的子序列之間的內(nèi)生相似性足以指導網(wǎng)絡的訓練。

然而，這并不意味著所提出的空間冗余采樣策略可以完全取代時間冗余采樣，因為消融研究表明，如果配備相同的網(wǎng)絡架構(gòu)，時間冗余采樣可以在高速成像中取得更好的性能。SRDTrans 在高成像速度下相對于 DeepCAD 的優(yōu)勢實際上歸功于 Transformer 架構(gòu)。

一般來說，空間冗余和時間冗余是兩種互補的采樣策略，可實現(xiàn)熒光延時成像去噪網(wǎng)絡的自監(jiān)督訓練。使用哪種采樣策略取決于數(shù)據(jù)中哪種冗余更充分。值得注意的是，在許多情況下，兩種冗余都不足以支持當前的采樣策略。開發(fā)特定的或者更通用的自監(jiān)督去噪方法，對于熒光成像具有持久的價值。

論文鏈接：https://www.nature.com/articles/s43588-023-00568-2