神經(jīng)元細(xì)胞興奮的時(shí)候夜赵，會(huì)產(chǎn)生一個(gè)電沖動(dòng)明棍，使得鈣離子流入該細(xì)胞，促使該細(xì)胞分泌神經(jīng)遞質(zhì)寇僧，下一級(jí)神經(jīng)元就接收到上一級(jí)神經(jīng)元的信號(hào)摊腋。 鈣成像借助于鈣離子熒光指示劑，將神經(jīng)元中鈣離子濃度的變化反映在熒光強(qiáng)度的變化上嘁傀，從而可以推測(cè)神經(jīng)元的活動(dòng)（當(dāng)前鈣成像常用的手段是雙光子顯微成像手段）兴蒸。準(zhǔn)確神經(jīng)元提取和尖峰推斷（spike inference）是進(jìn)行進(jìn)一步分析的前提，這需要高信噪比鈣成像细办。然而橙凳，由于體內(nèi)鈣瞬變(calcium transients)的低峰值積累和快速動(dòng)態(tài)變化導(dǎo)致熒光光子的缺乏蕾殴，使得鈣成像容易受到噪聲污染（即光子散粒噪聲和電子噪聲）的影響。
獲得高信噪比鈣成像最直接的方法是提高激發(fā)光強(qiáng)度岛啸， 但其導(dǎo)致的光漂白钓觉、光毒性和組織加熱對(duì)樣品健康和光敏生物過程不利。更有效的策略包括使用更亮的鈣指示劑和更先進(jìn)的光電檢測(cè)技術(shù) 坚踩，但在光子受限的條件下荡灾，它們的性能仍然不足（例如樹突成像和深部組織成像）。除了這些物理或生物方法之外瞬铸，由數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法可以降低光子數(shù)要求批幌，并在熒光成像中展現(xiàn)出了良好的性能。
2021 Nature Methods:使用深度自監(jiān)督去噪加強(qiáng)鈣成像中的神經(jīng)元提取和尖峰推斷
技術(shù)背景：
神經(jīng)元細(xì)胞興奮的時(shí)候嗓节，會(huì)產(chǎn)生一個(gè)電沖動(dòng)荧缘，使得鈣離子流入該細(xì)胞，促使該細(xì)胞分泌神經(jīng)遞質(zhì)拦宣，下一級(jí)神經(jīng)元就接收到上一級(jí)神經(jīng)元的信號(hào)胜宇。 鈣成像借助于鈣離子熒光指示劑，將神經(jīng)元中鈣離子濃度的變化反映在熒光強(qiáng)度的變化上恢着，從而可以推測(cè)神經(jīng)元的活動(dòng)（當(dāng)前鈣成像常用的手段是雙光子顯微成像手段）。準(zhǔn)確神經(jīng)元提取和尖峰推斷（spike inference）是進(jìn)行進(jìn)一步分析的前提财破，這需要高信噪比鈣成像掰派。然而，由于體內(nèi)鈣瞬變(calcium transients)的低峰值積累和快速動(dòng)態(tài)變化導(dǎo)致熒光光子的缺乏左痢，使得鈣成像容易受到噪聲污染（即光子散粒噪聲和電子噪聲）的影響靡羡。
獲得高信噪比鈣成像最直接的方法是提高激發(fā)光強(qiáng)度， 但其導(dǎo)致的光漂白俊性、光毒性和組織加熱對(duì)樣品健康和光敏生物過程不利略步。更有效的策略包括使用更亮的鈣指示劑和更先進(jìn)的光電檢測(cè)技術(shù) ，但在光子受限的條件下定页，它們的性能仍然不足（例如樹突成像和深部組織成像）趟薄。除了這些物理或生物方法之外，由數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法可以降低光子數(shù)要求典徊，并在熒光成像中展現(xiàn)出了良好的性能杭煎。
當(dāng)前不足：
然而，鈣瞬變構(gòu)成的高動(dòng)態(tài)變化卒落、非重復(fù)的活動(dòng)羡铲，以及放電模式不能被第二次捕捉等特性，使得以前通過延長(zhǎng)積分時(shí)間或平均多個(gè)噪聲幀來(lái)獲得訓(xùn)練用ground truth的方案不再可行儡毕。因此也切，傳統(tǒng)的監(jiān)督學(xué)習(xí)方法不再有效。
文章創(chuàng)新點(diǎn)：
基于此，清華大學(xué)的Xinyang Li(第一作者)和Qionghai Dai(通訊作者)提出了一種用于鈣成像數(shù)據(jù)去噪的自監(jiān)督學(xué)習(xí)方法雷恃，命名為DeepCAD疆股，可實(shí)現(xiàn)十倍以上的信噪比提高，而無(wú)需任何高信噪比ground truth進(jìn)行訓(xùn)練褂萧。
（1）直接使用噪聲圖像重建高信噪比的圖像押桃。
（2）模型輸入輸出均為三維（(x,y,t)格式)數(shù)據(jù)，可以充分利用延時(shí)堆棧中的時(shí)空信息导犹。
原理解析：
所提自監(jiān)督策略的底層機(jī)制是唱凯，使用噪聲目標(biāo)圖像進(jìn)行訓(xùn)練，生成噪聲梯度谎痢。因?yàn)檎麄€(gè)訓(xùn)練集的平均梯度近似等于真實(shí)梯度磕昼，所以訓(xùn)練的結(jié)果不會(huì)受無(wú)高信噪比ground truth的影響。
(1)基本流程节猿，原始低信噪比堆棧(stack)中的連續(xù)幀被分成兩個(gè)子堆棧票从，分別作為輸入和目標(biāo)來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)選用3D U-Net架構(gòu)滨嘱。 訓(xùn)練后峰鄙，可以建立去噪模型并記憶網(wǎng)絡(luò)參數(shù)。 見圖1a太雨，比例尺吟榴，50 μm。模型建立后囊扳，將三維數(shù)據(jù)輸入網(wǎng)絡(luò)吩翻，獲得高信噪比的三維數(shù)據(jù)輸出。見圖1b锥咸。圖1c-g為網(wǎng)絡(luò)性能驗(yàn)證實(shí)驗(yàn)狭瞎。
（2）所用3D U-net網(wǎng)絡(luò)架構(gòu)。如圖2所示搏予，它由一個(gè) 3D 編碼器模塊熊锭、一個(gè) 3D 解碼器模塊和三個(gè)從編碼器模塊到解碼器模塊的跳躍連接組成。在編碼器模塊中雪侥，有三個(gè)編碼器塊球涛。每個(gè)塊由兩個(gè) 3 × 3 × 3 卷積層組成，后跟一個(gè)LeakyReLU校镐、一個(gè)組歸一化層（group nomalization layer）亿扁、一個(gè)在三個(gè)維度上步長(zhǎng)都為 2的2 × 2 × 2 最大池化層。在解碼器模塊中鸟廓，有三個(gè)解碼器塊从祝，每個(gè)塊包含兩個(gè) 3 × 3 × 3 卷積層襟己，后跟一個(gè) LeakyReLU、一個(gè)組歸一化層和一個(gè) 3D 最近鄰插值層牍陌。跳躍連接可以將特征圖從編碼器模塊傳遞到解碼器模塊擎浴，以集成低級(jí)特征和高級(jí)特征。編碼器模塊和解碼器模塊的特征圖以不同的顏色表示毒涧。所有操作都是 3D 的贮预，特征圖都是 4D 張量。
（3）數(shù)據(jù)處理流程契讲。網(wǎng)絡(luò)訓(xùn)練如圖3a仿吞，成像系統(tǒng)捕獲的原始數(shù)據(jù)以 3D (x, y, t) 形式組織并保存為時(shí)間堆棧。原始的噪聲堆棧被劃分為數(shù)千個(gè) 3D 子堆棧（64×64×600 像素）捡偏，每個(gè)維度大約有 25% 的重疊唤冈。對(duì)于橫向尺寸較小或記錄周期較短的時(shí)間堆棧，可以從原始堆棧中隨機(jī)裁剪子堆棧以擴(kuò)充訓(xùn)練集银伟。然后你虹，提取每個(gè)子堆棧的交錯(cuò)幀（interlaced frames）以形成兩個(gè) 3D 圖塊（64 × 64 × 300 像素）。其中一個(gè)作為輸入彤避，另一個(gè)作為網(wǎng)絡(luò)訓(xùn)練的目標(biāo)傅物，用于訓(xùn)練網(wǎng)絡(luò)。預(yù)訓(xùn)練模型的部署如圖3b琉预，成像系統(tǒng)獲得的新數(shù)據(jù)被劃分為 3D 子堆棧（64 × 64 × 300 像素）董饰，每個(gè)維度有 25% 的重疊。然后模孩，將預(yù)訓(xùn)練的模型加載到內(nèi)存中，并將子堆棧直接輸入到模型中贮缅。增強(qiáng)的子堆棧從網(wǎng)絡(luò)中依次輸出榨咐，并從輸出子堆棧中減去重疊區(qū)域（橫向和時(shí)間重疊）。通過拼接所有子堆椙垂可以獲得最終的增強(qiáng)堆棧块茁。
（4）實(shí)驗(yàn)采集系統(tǒng)見圖4，用于同時(shí)采集高信噪比和低信噪比鈣成像數(shù)據(jù)桂肌。Ti:sapp：波長(zhǎng)可調(diào)的鈦藍(lán)寶石激光器数焊；HWP：半波片；EOM：電光調(diào)制器崎场；M1：反射鏡佩耳；L1、L2谭跨、L3干厚、L4李滴、L5、L6蛮瞄、L7所坯、L8、L9：透鏡挂捅；scanner：振鏡共振掃描儀芹助；DM：長(zhǎng)通二向色鏡，用于將熒光信號(hào)（綠色路徑）與激發(fā)光（紅色路徑）分開闲先；BS：1:9（反射率：透射率）非偏振分束鏡状土；PMT1、PMT2：光電倍增管饵蒂。熒光信號(hào)分為低信噪比 (~10%) 分量和高信噪比 (~90%) 分量声诸，并由兩個(gè) PMT 同步檢測(cè)。
視頻1：DeepCAD 在單神經(jīng)元記錄上的去噪性能退盯。視頻上部為神經(jīng)元的同步電生理記錄彼乌，反映了真實(shí)的神經(jīng)活動(dòng)。檢測(cè)到的尖峰用黑點(diǎn)標(biāo)記渊迁。原始噪聲數(shù)據(jù)和 DeepCAD 增強(qiáng)數(shù)據(jù)分別顯示在視頻中部和下部慰照。
視頻2：從左到右分別是大型神經(jīng)元群（第 2/3 層，GCaMP6f）的自發(fā)鈣瞬變的低信噪比記錄琉朽、DeepCAD 增強(qiáng)對(duì)應(yīng)和相應(yīng)的高信噪比記錄毒租。底部顯示了局部區(qū)域的放大視圖。
視頻3：相同的預(yù)訓(xùn)練模型用于跨系統(tǒng)的數(shù)據(jù)去噪仍然有效箱叁。視頻中數(shù)據(jù)來(lái)源于三個(gè)不同系統(tǒng)設(shè)置的雙光子激光掃描顯微鏡墅垮。
參考文獻(xiàn)：Li, X., Zhang, G., Wu, J. et al. Reinforcing neuron extraction and spike inference in calcium imaging using deep self-supervised denoising. Nat Methods (2021).
DOI：https://doi.org/10.1038/s41592-021-01225-0
文章創(chuàng)意來(lái)源文獻(xiàn)：Lehtinen, J. et al. Noise2Noise: learning image restoration without clean data. in Proc. 35th International Conference on Machine Learning (eds Dy, J. & Krause, A.) 2965–2974 (PMLR, 2018).
關(guān)于昊量光電：
上海昊量光電設(shè)備有限公司是國(guó)內(nèi)知名光電產(chǎn)品專業(yè)代理商，代理品牌均處于相關(guān)領(lǐng)域的發(fā)展前沿耕漱；產(chǎn)品包括各類激光器算色、光電調(diào)制器、光學(xué)測(cè)量設(shè)備螟够、精密光學(xué)元件等灾梦，涉及應(yīng)用領(lǐng)域涵蓋了材料加工、光通訊妓笙、生物醫(yī)療若河、科學(xué)研究、國(guó)防及更細(xì)分的前沿市場(chǎng)如量子光學(xué)寞宫、生物顯微萧福、物聯(lián)傳感、精密加工辈赋、先進(jìn)激光制造等统锤；可為客戶提供完整的設(shè)備安裝毛俏，培訓(xùn)，硬件開發(fā)饲窿，軟件開發(fā)煌寇，系統(tǒng)集成等優(yōu)質(zhì)服務(wù)。
您可以通過昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息逾雄，或直接來(lái)電咨詢4006-888-532阀溶。
本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系獲得授權(quán)。
展示全部 
展示全部
