在生物醫(yī)學(xué)研究領(lǐng)域，雙光子成像技術(shù)因其高成像分辨率、大深度和強(qiáng)三維層析能力等優(yōu)點(diǎn)，成為獲取關(guān)鍵高分辨三維信息的重要手段。然而，傳統(tǒng)雙光子顯微鏡成像視場(chǎng)有限，通常在1mm以內(nèi)，極大地限制了其在更廣泛生物醫(yī)學(xué)研究中的應(yīng)用。

為拓展雙光子顯微鏡的成像視場(chǎng)，研究人員嘗試了多種方法。例如，通過設(shè)計(jì)特殊的掃描中繼系統(tǒng)來減小大角度掃描引起的離軸像差，或自制高通量物鏡來實(shí)現(xiàn)更大的成像視場(chǎng)。但這些方法往往實(shí)現(xiàn)難度大、成本高，難以在生物醫(yī)學(xué)研究領(lǐng)域廣泛推廣。

近年來，一種通過自適應(yīng)光學(xué)技術(shù)增加成像物鏡可用視場(chǎng)的方法被提出。然而，該方法需要在光學(xué)系統(tǒng)中增加相位補(bǔ)償器件，這增加了成像系統(tǒng)的光路復(fù)雜性與硬件成本。

在此背景下，來自曲阜師范大學(xué)、香港理工大學(xué)的李遲件團(tuán)隊(duì)提出了一種利用深度學(xué)替代自適應(yīng)光學(xué)相位補(bǔ)償從而擴(kuò)展雙光子成像視場(chǎng)的新方法。

深度學(xué)帶來的新突破

商用物鏡通常有一個(gè)廠商的成像視場(chǎng)，在該范圍內(nèi)，物鏡像差可忽略，成像質(zhì)量好；過該視場(chǎng)后，物鏡像差急劇增大，成像質(zhì)量嚴(yán)重劣化。

光學(xué)系統(tǒng)及成像原理。（a）深度學(xué)擴(kuò)展雙光子顯微鏡可用視場(chǎng)的原理圖；（b）大視場(chǎng)雙光子顯微鏡系統(tǒng)示意圖（HWP：半波片；PBS：偏振分光棱鏡；PMT：光電倍增管；RM：反射鏡；BE：擴(kuò)束器；SLM：空間光調(diào)制器；OAPM：離軸拋物面反射鏡；SM：掃描振鏡；SL：掃描透鏡；TL：管透鏡；DM：二向色鏡；OL：物鏡；CL：收集透鏡）；（c）測(cè)量得到的3×3個(gè)子區(qū)域的波前面

研究團(tuán)隊(duì)之前通過自適應(yīng)光學(xué)方法使擴(kuò)展視場(chǎng)的成像質(zhì)量與信噪比接近于視場(chǎng)區(qū)域，*拓展了大視場(chǎng)物鏡的可用視場(chǎng)。而本文所提方法通過采集擴(kuò)展視場(chǎng)自適應(yīng)光學(xué)校正前后的數(shù)據(jù)并使用改進(jìn)網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練，無需使用自適應(yīng)光學(xué)相位補(bǔ)償裝置進(jìn)行像差校正便可得到近似無像差的圖像。

該方法具有以下優(yōu)勢(shì)：

• 無需復(fù)雜光學(xué)元件：無須使用復(fù)雜的自適應(yīng)光學(xué)元件進(jìn)行像差校正。

• 降低成本與提高便捷性：利用深度學(xué)替代硬件自適應(yīng)光學(xué)補(bǔ)償，不僅降低了系統(tǒng)成本，還實(shí)現(xiàn)了無須硬件自適應(yīng)光學(xué)補(bǔ)償?shù)拇笠晥?chǎng)成像，提高了系統(tǒng)的便捷性。

實(shí)驗(yàn)過程

在實(shí)驗(yàn)中，研究團(tuán)隊(duì)使用了大視場(chǎng)雙光子顯微系統(tǒng)，包括鈦藍(lán)寶石激光器、擴(kuò)束器、中繼鏡、檢流計(jì)、掃描振鏡、物鏡、二向分光鏡、收集透鏡和光電倍增管等。采用間接波前檢測(cè)中的模式法實(shí)現(xiàn)像差測(cè)量和校正，將整個(gè)視場(chǎng)區(qū)域分為3×3個(gè)子區(qū)域進(jìn)行分區(qū)校正，使用Zernike多項(xiàng)式的第5-15項(xiàng)進(jìn)行像差計(jì)算，重復(fù)測(cè)量三次后取平均以保證測(cè)量準(zhǔn)確度。

為提高神經(jīng)網(wǎng)絡(luò)的可靠性，研究團(tuán)隊(duì)對(duì)數(shù)據(jù)準(zhǔn)備進(jìn)行了兩方面改進(jìn)：

• 提高信噪比：對(duì)每組校正前后的圖像各采集3張，并通過平均圖像的灰度值來提高圖像的信噪比。

• 匹配三維位置：將自適應(yīng)光學(xué)技術(shù)校正前的圖像作為參照，對(duì)校正后的圖像進(jìn)行X和Y方向的配準(zhǔn)，將配準(zhǔn)后的有效數(shù)據(jù)尺寸裁剪為1000pixel×1000pixel。

研究團(tuán)隊(duì)采用的基于U-Net改進(jìn)的nBRAnet網(wǎng)絡(luò)，具有U型對(duì)稱結(jié)構(gòu)，保留了多個(gè)跳躍連接結(jié)構(gòu)。同時(shí)，引入殘差結(jié)構(gòu)以緩解反向傳播造成的梯度爆炸和梯度消失，提高網(wǎng)絡(luò)的*度和精度；引入輕量級(jí)的空間注意力機(jī)制以增強(qiáng)網(wǎng)絡(luò)性能；移除了所有卷積塊中的BN層以增強(qiáng)網(wǎng)絡(luò)輸出的圖像質(zhì)量。

研究團(tuán)隊(duì)提出的nBRAnet網(wǎng)絡(luò)結(jié)構(gòu)。（a）改進(jìn)的3層網(wǎng)絡(luò)結(jié)構(gòu)；（b）殘差結(jié)構(gòu)示意圖；（c）上采樣結(jié)構(gòu)塊；（d）改進(jìn)的卷積塊；

在網(wǎng)絡(luò)訓(xùn)練設(shè)置方面，研究團(tuán)隊(duì)在Windows環(huán)境下進(jìn)行，采用 PyTorch（Python3.7）編寫代碼，使用MATLAB代碼處理圖片，在桌面工作站上進(jìn)行。數(shù)據(jù)集由熒光小球和離體生物樣品經(jīng)自適應(yīng)光學(xué)校正前后的顯微圖像構(gòu)成，網(wǎng)絡(luò)模型輸入圖像和輸出圖像的尺寸均為1000pixel×1000pixel，分別取數(shù)據(jù)集的95％和5％用作訓(xùn)練集和測(cè)試集，利用網(wǎng)絡(luò)輸出與標(biāo)簽之間的均方誤差作為損失函數(shù)來訓(xùn)練模型，同時(shí)利用反向傳播算法Adam來優(yōu)化網(wǎng)絡(luò)，初始學(xué)速率為1×10-4。

實(shí)驗(yàn)結(jié)果

熒光小球?qū)嶒?yàn)：無論是在像差較小的視場(chǎng)區(qū)域，還是在具有較大離軸像差的擴(kuò)展視場(chǎng)區(qū)域，研究團(tuán)隊(duì)所提網(wǎng)絡(luò)均能較好地校正畸變的圖像，證明了深度學(xué)技術(shù)可以替代硬件自適應(yīng)光學(xué)像差校正技術(shù)擴(kuò)展成像視場(chǎng)并實(shí)現(xiàn)畸變圖像的校正。

直徑為1μm的熒光小球的大視場(chǎng)成像結(jié)果。（a）全視場(chǎng)熒光小球圖像，視場(chǎng)尺寸為2.45mm×2.45mm；（b）~（d）區(qū)域經(jīng)自適應(yīng)光學(xué)校正前后的圖像以及網(wǎng)絡(luò)模型學(xué)得到的圖像；（e）~（g）擴(kuò)展區(qū)域經(jīng)自適應(yīng)光學(xué)校正前后的圖像以及網(wǎng)絡(luò)模型學(xué)得到的圖像；（h）Ⅰ區(qū)域的強(qiáng)度曲線；（i）Ⅱ區(qū)域的強(qiáng)度曲線

生物樣品實(shí)驗(yàn)：研究團(tuán)隊(duì)改進(jìn)的網(wǎng)絡(luò)框架可將Thy1-GFP樣品擴(kuò)展視場(chǎng)區(qū)域的分辨率和信噪比恢復(fù)至接近硬件自適應(yīng)光學(xué)校正之后的結(jié)果，可有效擴(kuò)展物鏡的可用視場(chǎng)，使分辨率和熒光強(qiáng)度近似地恢復(fù)到硬件自適應(yīng)光學(xué)校正后無像差時(shí)的水平。

Thy1-GFP小鼠大腦切片的大視場(chǎng)成像結(jié)果。（a）全視場(chǎng)圖像，視場(chǎng)尺寸為2.45mm×2.45mm；（b）虛線框區(qū)域擴(kuò)展視場(chǎng)在自適應(yīng)光學(xué)校正前的圖像；（c）虛線框區(qū)域擴(kuò)展視場(chǎng)在自適應(yīng)光學(xué)校正后的圖像；（d）深度學(xué)模型的圖像增強(qiáng)結(jié)果；（e）（f）劃線區(qū)域的強(qiáng)度對(duì)比

與深分辨率模型（VDSR）、傳統(tǒng)的U-Net模型相比，研究團(tuán)隊(duì)的nBRAnet網(wǎng)絡(luò)框架具有明顯優(yōu)勢(shì)，VDSR的實(shí)驗(yàn)結(jié)果中含有大量噪聲，U-Net的實(shí)驗(yàn)結(jié)果中丟失了一些細(xì)節(jié)信息，而研究團(tuán)隊(duì)的網(wǎng)絡(luò)框架具有較高的PSNR值。

CX3CR1-GFP小鼠大腦切片中小膠質(zhì)細(xì)胞的大視場(chǎng)成像。（a）全視場(chǎng)圖像，視場(chǎng)尺寸為2.45mm×2.45mm；（b）虛線框區(qū)域擴(kuò)展視場(chǎng)在自適應(yīng)光學(xué)校正前的圖像；（c）虛線框區(qū)域擴(kuò)展視場(chǎng)在自適應(yīng)光學(xué)校正后的圖像；（d）所提深度學(xué)模型的圖像增強(qiáng)結(jié)果；（e）~（g）灰度值直方圖，分別對(duì)應(yīng)（b）~（d）

不同網(wǎng)絡(luò)模型的輸出結(jié)果。（a）熒光小球樣品擴(kuò)展視場(chǎng)的ROI區(qū)域；（b）Thy1-GFP樣品擴(kuò)展視場(chǎng)的ROI區(qū)域；（c）CX3CR1-GFP樣品擴(kuò)展視場(chǎng)的ROI區(qū)域

結(jié)與展望

研究團(tuán)隊(duì)提供了一種有效擴(kuò)展雙光子顯微鏡成像視場(chǎng)的新思路、新途徑，利用深度學(xué)來擴(kuò)展商業(yè)物鏡的可用視場(chǎng)。經(jīng)網(wǎng)絡(luò)恢復(fù)后的擴(kuò)展區(qū)域圖像，無論是分辨率還是熒光強(qiáng)度，均能恢復(fù)到接近硬件自適應(yīng)光學(xué)校正后無像差時(shí)的水平。該方法簡(jiǎn)化了操作，降低了系統(tǒng)的復(fù)雜度和成本，提高了成像分辨率及其拓展的通用性，具有較高的實(shí)用價(jià)值。

希望研究成果能為生物醫(yī)學(xué)研究帶來新的突破，為跨區(qū)域腦成像或全腦成像提供一種經(jīng)濟(jì)實(shí)用的方案。未來，我們將繼續(xù)深入研究，不斷完善這一技術(shù)，為推動(dòng)生物醫(yī)學(xué)研究的發(fā)展貢獻(xiàn)更多力量。

聲明：本文僅用作學(xué)術(shù)目的。文章來源于:李遲件, 姚靖, 高玉峰, 賴溥祥, 何悅之, 齊蘇敏, 鄭煒. 利用深度學(xué)擴(kuò)展雙光子成像視場(chǎng)[J]. 激光, 2023, 50(9): 0907107. Chijian Li, Jing Yao, Yufeng Gao, Puxiang Lai, Yuezhi He, Sumin Qi, Wei Zheng. Extending Field?of?View of Two?Photon Microscopy Using Deep Learning[J]. Chinese Journal of Lasers, 2023, 50(9): 0907107.