因?yàn)樵陂L(zhǎng)時(shí)間跨度內(nèi)對(duì)三維組織中毫秒級(jí)的瞬態(tài)細(xì)胞活動(dòng)進(jìn)行觀察是生物學(xué)經(jīng)常要面對(duì)的問(wèn)題火诸，所以锦针，如何從目標(biāo)中提取更多的時(shí)空信息是生物學(xué)中反復(fù)出現(xiàn)的挑戰(zhàn)。目前已有幾種成像技術(shù)，包括落射熒光和平面照明方法奈搜，可以以高空間分辨率對(duì)活體樣本在三個(gè)維度進(jìn)行成像悉盆。然而，它們需要記錄大量二維圖像來(lái)產(chǎn)生三維體積馋吗，并且時(shí)間分辨率因相機(jī)需要采集多幀而受到影響焕盟。
Nature Methods:基于深度學(xué)習(xí)和光場(chǎng)顯微鏡的實(shí)時(shí)生物動(dòng)力學(xué)體積重建
技術(shù)背景：
因?yàn)樵陂L(zhǎng)時(shí)間跨度內(nèi)對(duì)三維組織中毫秒級(jí)的瞬態(tài)細(xì)胞活動(dòng)進(jìn)行觀察是生物學(xué)經(jīng)常要面對(duì)的問(wèn)題，所以宏粤，如何從目標(biāo)中提取更多的時(shí)空信息是生物學(xué)中反復(fù)出現(xiàn)的挑戰(zhàn)脚翘。目前已有幾種成像技術(shù)，包括落射熒光和平面照明方法绍哎，可以以高空間分辨率對(duì)活體樣本在三個(gè)維度進(jìn)行成像来农。然而，它們需要記錄大量二維圖像來(lái)產(chǎn)生三維體積崇堰，并且時(shí)間分辨率因相機(jī)需要采集多幀而受到影響沃于。
光場(chǎng)顯微鏡 (light-field microscopy, LFM) 已成為瞬時(shí)體積成像的首選技術(shù)。它通過(guò)將瞬態(tài)三維光場(chǎng)信息記錄在單個(gè)二維相機(jī)幀上赶袄，然后通過(guò)后處理恢復(fù)三維光場(chǎng)分布揽涮。由于 LFM 提供僅受相機(jī)幀速率限制的高速體積成像，它在各種應(yīng)用展示了它的能力饿肺，例如神經(jīng)元活動(dòng)的記錄和體模中心臟動(dòng)力學(xué)的可視化蒋困。
當(dāng)前不足：
盡管LFM體積成像速度快，且取得了不少進(jìn)展敬辣。但是由于其空間分辨率存在分辨率不均勻和分辨率低的缺點(diǎn)雪标，以及重建速度慢、重建圖像存在偽影等問(wèn)題溉跃，極大的限制了LFM進(jìn)入那些需要高時(shí)空分辨率的生物應(yīng)用村刨，如以單細(xì)胞空間分辨率觀測(cè)毫秒級(jí)的生物活動(dòng)類應(yīng)用。雖然可以通過(guò)優(yōu)化記錄光場(chǎng)的方式來(lái)緩解這些問(wèn)題撰茎，但額外的系統(tǒng)復(fù)雜性可能會(huì)阻礙 LFM 技術(shù)的廣泛傳播嵌牺。此外，當(dāng)前的 LFM 依賴于計(jì)算要求高的迭代復(fù)原過(guò)程龄糊，這限制了 LFM 重建的整體吞吐量逆粹，損害了其長(zhǎng)期應(yīng)用的潛力。
文章創(chuàng)新點(diǎn)：
基于此炫惩，華中科技大學(xué)的Zhaoqiang Wang(第一作者)和Peng Fei(通訊作者)提出了一種將視角通道深度神經(jīng)網(wǎng)絡(luò)（view-channel-depth neural network, VCD）與LFM結(jié)合的技術(shù)僻弹，稱為VCD-LFM。這種技術(shù)可以產(chǎn)生無(wú)偽影的三維圖像序列他嚷，且具有均勻的空間分辨率蹋绽，重建吞吐量達(dá)到高視頻幀率芭毙。
原理解析：
為了創(chuàng)建網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)，首先使用合成或?qū)嶒?yàn)方法獲得了靜止樣本的高分辨率三維圖像作為ground-truth（圖1a）卸耘。VCD-LFM利用LFM的波動(dòng)模型退敦，從ground-truth合成二維光場(chǎng)圖像，將合成圖像和ground-truth配對(duì)作為網(wǎng)絡(luò)的輸入蚣抗，用于網(wǎng)絡(luò)訓(xùn)練苛聘。VCD網(wǎng)絡(luò)（VCD－Net）設(shè)計(jì)成每個(gè)合成光場(chǎng)圖像首先被重新排列成不同的視角，從中提取特征并將其合并到每個(gè)卷積層的多個(gè)通道中忠聚。然后將最終輸出通道分配給代表不同深度的多個(gè)平面以生成圖像堆棧（image stack）设哗。使用級(jí)聯(lián)卷積層（U-Net 架構(gòu)、見(jiàn)圖２）重復(fù)提取特征两蟀，該VCD程序生成了中間三維重建（圖1b网梢，步驟２）。像素均方誤差被計(jì)為損失函數(shù)，以表示這些輸出與ground-truth的差異。通過(guò)迭代最小化損失函數(shù)（圖1b相叁，步驟 3），深度學(xué)習(xí)VCD－Net被逐漸強(qiáng)化烦感，直到它可以在整個(gè)成像深度推測(cè)出均勻分辨率的三維高保真信號(hào)為止。在對(duì) gigavoxels 數(shù)據(jù)進(jìn)行訓(xùn)練后膛堤，該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)動(dòng)態(tài)過(guò)程的連續(xù)光場(chǎng)測(cè)量的 VCD 轉(zhuǎn)換手趣，并以高達(dá) 13 volumes／ｓ的速率推測(cè)出一系列 3D 體積（圖1b，步驟４）肥荔。
視頻１：跳動(dòng)的胚胎斑馬魚(yú)心臟中心悸淘（綠色）和血細(xì)胞（紅色）的雙色成像。VCD-LFM 采集血細(xì)胞圖像燕耿，心肌圖像由光片熒光顯微鏡獲得中符。 視頻顯示了紅細(xì)胞如何流過(guò)跳動(dòng)的心肌。比例尺誉帅，50 μm淀散。
參考文獻(xiàn)：Wang, Z., Zhu, L., Zhang, H. et al. Real-time volumetric reconstruction of biological dynamics with light-field microscopy and deep learning. Nat Methods 18, 551–556 (2021).
關(guān)于昊量光電：
上海昊量光電設(shè)備有限公司是國(guó)內(nèi)知名光電產(chǎn)品專業(yè)代理商，代理品牌均處于相關(guān)領(lǐng)域的發(fā)展前沿蚜锨；產(chǎn)品包括各類激光器档插、光電調(diào)制器、光學(xué)測(cè)量設(shè)備踏志、精密光學(xué)元件等阀捅，涉及應(yīng)用領(lǐng)域涵蓋了材料加工胀瞪、光通訊针余、生物醫(yī)療饲鄙、科學(xué)研究、國(guó)防及更細(xì)分的前沿市場(chǎng)如量子光學(xué)圆雁、生物顯微忍级、物聯(lián)傳感、精密加工伪朽、先進(jìn)激光制造等轴咱；可為客戶提供完整的設(shè)備安裝，培訓(xùn)烈涮，硬件開(kāi)發(fā)朴肺，軟件開(kāi)發(fā)，系統(tǒng)集成等優(yōu)質(zhì)服務(wù)坚洽。
您可以通過(guò)昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息戈稿，或直接來(lái)電咨詢4006-888-532。
本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系獲得授權(quán)讶舰。
展示全部 
