博覽：2020 Nature 基于深度光學(xué)和光子學(xué)的人工智能推理

正文

博覽：2020 Nature 基于深度光學(xué)和光子學(xué)的人工智能推理

技術(shù)背景：

當(dāng)今需要理解的視覺數(shù)據(jù)量不斷增加捡鱼，迫使計算系統(tǒng)的計算能力持續(xù)攀升八回。在一系列應(yīng)用中，如自動駕駛堰汉、機(jī)器視覺、智能家居翘鸭、遙感滴铅、顯微鏡、安防監(jiān)控就乓、國防和物聯(lián)網(wǎng)等汉匙，計算成像系統(tǒng)需要記錄和處理前所未有的大量數(shù)據(jù)。這些數(shù)據(jù)不是給人類看的生蚁，而是由人工智能 (AI) 算法來解釋噩翠。

在這些應(yīng)用中，深度神經(jīng)網(wǎng)絡(luò)(DNN)以其無與倫比的性能迅速成為視覺數(shù)據(jù)處理的標(biāo)準(zhǔn)算法邦投。這主要得益于現(xiàn)代GPU的強(qiáng)大并行計算能力以及海量的數(shù)據(jù)集使得DNN能夠使用監(jiān)督學(xué)習(xí)的策略有效訓(xùn)練伤锚。然而，運行越來越復(fù)雜的神經(jīng)網(wǎng)絡(luò)的高端GPU以及其它的加速器志衣，對功率和帶寬的需求是驚人的屯援，且需要大量的計算時間和龐大的體積猛们。這些限制使得DNN難以應(yīng)用在邊緣設(shè)備(edge devices)上，如相機(jī)狞洋、自動駕駛汽車弯淘、機(jī)器人或物聯(lián)網(wǎng)的外圍設(shè)備等。很難想象把一個這樣的計算單元放在高速行駛吉懊，需要瞬間做出判斷的自動駕駛汽車上庐橙。實際上借嗽，具有更緊湊的體積态鳖、更低的延時、更輕的重量淹魄、更小的功耗的計算成像系統(tǒng)對所有的邊緣設(shè)備都有利郁惜。

DNN有兩個不同的計算階段：訓(xùn)練和推理。在訓(xùn)練階段甲锡，大量被標(biāo)記的樣本輸入DNN兆蕉，使用迭代的方法針對特定任務(wù)優(yōu)化網(wǎng)絡(luò)參數(shù)。一旦訓(xùn)練完成缤沦，DNN就可以用于推理階段，在這時缸废，數(shù)據(jù)(如圖像)輸入網(wǎng)絡(luò)包蓝，經(jīng)過前饋傳遞，計算出需要的結(jié)果企量。GPU在某些應(yīng)用中可以用于推理测萎，但是由于上述原因，在邊緣設(shè)備中使用GPU是不實際的届巩。

盡管電子AI加速器靈活性強(qiáng)硅瞧，但是光學(xué)神經(jīng)網(wǎng)絡(luò)(ONN)和光子電路提供了一種新的選擇。光學(xué)計算系統(tǒng)能夠以小的體積實現(xiàn)大規(guī)模并行計算恕汇，適用于小型設(shè)備腕唧，并且在某些應(yīng)用中幾乎沒有功耗。事實上瘾英，使用光在計算系統(tǒng)中實現(xiàn)通信的光連接已經(jīng)廣泛應(yīng)用于當(dāng)今的數(shù)據(jù)中心枣接，越來越多地使用更深入計算系統(tǒng)內(nèi)部的光連接可能對持續(xù)擴(kuò)展至關(guān)重要。與電連接不同缺谴，隨著光學(xué)但惶、光電子和電子更深層次的集成，光連接在帶寬密度和每比特能耗方面可以有數(shù)量級上的改進(jìn)。這種改進(jìn)的連接可以實現(xiàn)混合電子-光學(xué)DNN榆骚，并且相同的低能耗片拍、高度并行的集成技術(shù)可以用作模擬光學(xué)處理器的一部分妓肢。

當(dāng)前不足：

盡管光計算具有巨大的潛力并且經(jīng)過大約半個世紀(jì)的集中研究，但通用光計算尚未成熟為實用技術(shù)苫纤。

文章出發(fā)點：

推理任務(wù)(尤其是視覺計算應(yīng)用)非常適合用全光或混合光電子系統(tǒng)來執(zhí)行碉钠。例如，線性光學(xué)元件可以“免費”計算卷積卷拘、傅立葉變換喊废、隨機(jī)投影和許多其它運算，即栗弟，這些是光與物質(zhì)相互作用或光傳播的自然結(jié)果污筷。這些運算是驅(qū)動大多數(shù)現(xiàn)代視覺計算算法的 DNN 架構(gòu)的基本構(gòu)造模塊≌Ш眨基于此，美國斯坦福大學(xué)的Gordon Wetzstein和美國加州大學(xué)洛杉磯分校的Aydogan Ozcan等人撰寫綜述文章雷厂，回顧了人工智能應(yīng)用光學(xué)計算的新工作惋增，并討論了它的前景和挑戰(zhàn)。

工作回顧：

(1) 用于人工智能的光子電路「啮辏現(xiàn)代DNN架構(gòu)是線性層(linear layers)級聯(lián)的诈皿，線性層后面是重復(fù)多次的非線性激活函數(shù)。常見的線性層類型是全連接的像棘，這意味著每個輸出神經(jīng)元都是所有輸入神經(jīng)元的加權(quán)和稽亏，即乘法累加(multiply accumulate,MAC)運算。這在數(shù)學(xué)上表示為矩陣向量乘法(matrix-vector multiplication)缕题，可以在光域中有效地實現(xiàn)截歉。自早期光學(xué)計算工作以來發(fā)生的一個具體變化是，人們認(rèn)識到特定架構(gòu)（例如避除，基于奇異值矩陣分解的架構(gòu)）中的馬赫-曾德干涉儀 (MZI) 網(wǎng)格(mesh)可以實現(xiàn)任意矩陣乘法而不會產(chǎn)生基本損耗(fundamental loss)怎披，這些架構(gòu)也很容易配置和控制。

具體來說瓶摆，zui近的硅光子神經(jīng)形態(tài)電路已經(jīng)證明了使用相干光對矩陣向量乘法的奇異值矩陣分解實現(xiàn)凉逛。在這種情況下，在硅芯片上制造的MZI實現(xiàn)了逐元素乘法群井。這種設(shè)計代表了使用光的神經(jīng)網(wǎng)絡(luò)z關(guān)鍵構(gòu)建模塊之一的真正并行實現(xiàn)状飞，現(xiàn)代代工廠(foundry)可以輕松地批量制造這種類型的光子系統(tǒng)。

這種設(shè)計的挑戰(zhàn)之一是 MZI 的數(shù)量隨著向量中元素數(shù)量N以N2增長诬辈，這是實現(xiàn)任意矩陣的必要結(jié)果酵使。隨著光子電路尺寸的增加，損耗焙糟、噪聲和缺陷也成為更大的問題口渔。因此，構(gòu)建足夠準(zhǔn)確的模型以在計算機(jī)上對其進(jìn)行訓(xùn)練變得越來越困難穿撮∪甭觯克服這一困難的方法包括設(shè)計對缺陷具有魯棒性的電路，自動“完善”電路悦穿，或在原位訓(xùn)練光子神經(jīng)形態(tài)電路等攻礼。

作為基于MZI的MAC的替代方案栗柒，F(xiàn)eldmann等人礁扮。zui近推出了一種基于相變材料 (phase change materials,PCM)的全光神經(jīng)突觸網(wǎng)絡(luò)。在此設(shè)計中瞬沦，PCM單元實現(xiàn)線性層的加權(quán)太伊，而與環(huán)形諧振器耦合的PCM單元實現(xiàn)類似于修正線性單元 (rectified linear unit,ReLU) 的非線性激活函數(shù)。Tait等人還使用微環(huán)權(quán)重庫(micro-ring weight bank)來實現(xiàn)循環(huán)硅光子神經(jīng)網(wǎng)絡(luò)蛙埂。

將全光非線性納入光子電路是真深度光子網(wǎng)絡(luò)的關(guān)鍵要求之一倦畅。然而，在低光信號強(qiáng)度下有效實現(xiàn)光子非線性激活函數(shù)的挑戰(zhàn)是1990年代對ONN興趣減弱的主要原因之一绣的。過去十年的創(chuàng)造性方法叠赐，例如基于全光微環(huán)諧振器屡江、可飽和吸收器 芭概、電吸收調(diào)制器或混合電光方法的非線性閾值器，代表了在不久的將來克服這一挑戰(zhàn)的可能解決方案惩嘉。早期的“自電光效應(yīng)(self electrooptic effect)”器件概念也可能提供混合解決方案罢洲。

zui近發(fā)表了對神經(jīng)形態(tài)光子學(xué)和用于神經(jīng)網(wǎng)絡(luò)的光子MAC的綜述。在后一篇綜述中文黎，作者提供了光子線性計算系統(tǒng)及其電子對應(yīng)物的詳細(xì)比較惹苗，并考慮了能量、速度和計算密度等指標(biāo)耸峭。這項研究的主要見解是桩蓉，在考慮大處理器尺寸、大向量尺寸和低精度操作時院究，光子電路在所有這些指標(biāo)中都表現(xiàn)出優(yōu)于電子實現(xiàn)的優(yōu)勢洽瞬。然而，作者還指出了電光轉(zhuǎn)換的高能源成本的長期挑戰(zhàn)业汰，現(xiàn)在正迅速接近電子鏈接(link)的能源成本伙窃。

光子電路可能成為未來人工智能系統(tǒng)的基本構(gòu)建塊。盡管在過去 20 年中取得了很大進(jìn)展样漆，但仍面臨重大挑戰(zhàn)为障。今天的電子計算平臺具有可編程性、成熟和高產(chǎn)量的大規(guī)模制造技術(shù)氛濒、3D實施機(jī)會产场、內(nèi)置信號恢復(fù)和增益以及強(qiáng)大的內(nèi)存解決方案。此外舞竿，現(xiàn)代數(shù)字電子系統(tǒng)具有高精度，這是模擬光子系統(tǒng)無法輕易比擬的窿冯。然而骗奖，人工智能系統(tǒng)通常不需要高精度，尤其是在用于推理任務(wù)時醒串。盡管傳統(tǒng)上光子系統(tǒng)的可編程性更加困難执桌，但zui近已經(jīng)證明了簡化過程的第1步。

總體而言芜赌，光子電路的能力在過去十年中顯著增加仰挣，我們已經(jīng)看到在過去阻礙其應(yīng)用的一些關(guān)鍵挑戰(zhàn)方面取得了進(jìn)展。然而缠沈，為了與電子產(chǎn)品競爭膘壶，光子計算系統(tǒng)仍然面臨著基本的工程挑戰(zhàn)洲愤。一個似乎特別適合光學(xué)和光子處理的方向是使用非相干光進(jìn)行光學(xué)推理颓芭，以在環(huán)境照明條件下快速處理場景信息。這種方法為自動駕駛汽車柬赐、機(jī)器人和計算機(jī)視覺提供了許多令人興奮的機(jī)會亡问。

(2) 基于自由空間、透鏡和復(fù)雜介質(zhì)的計算肛宋。

光子電路的替代方案是直接在通過自由空間或某種介質(zhì)傳播的光場之上構(gòu)建計算能力(見圖1)州藕。在數(shù)學(xué)上，自由空間中的波傳播由基爾霍夫衍射積分描述酝陈，這相當(dāng)于場與固定核的卷積床玻。此操作代表了卷積神經(jīng)網(wǎng)絡(luò) (CNN，大多數(shù)視覺計算應(yīng)用程序的第1選擇神經(jīng)網(wǎng)絡(luò)架構(gòu)) 的基本構(gòu)建塊之一后添。然而笨枯，為了使波傳播成為光學(xué)計算的有用工具，我們需要可編程性馅精。例如严嗜，卷積核能夠被設(shè)計。這可以通過傅立葉光學(xué)實現(xiàn)洲敢，光路中特定的透鏡排布可以將物理上正向或逆傅立葉變換應(yīng)用于光場漫玄。插入到光路傅立葉平面中的光學(xué)元件實現(xiàn)了輸入場與光學(xué)元件的幅度和相位的逐元素相乘。通過卷積定理可知压彭，這對應(yīng)于輸入場與插入光學(xué)元件的逆傅立葉變換的卷積睦优。因此，可以使用透鏡和其它光學(xué)元件以光速將圖像的光場與任意卷積核進(jìn)行卷積壮不。

過去汗盘，這種見解已被用于設(shè)計光相關(guān)器(optical correlator)。這些設(shè)備實現(xiàn)了單個卷積询一，直接對非相干光學(xué)圖像執(zhí)行模板匹配隐孽，例如用于目標(biāo)檢測和追蹤。雖然這個想法代表了現(xiàn)代CNN的卷積塊的光學(xué)實現(xiàn)的重要一步健蕊，但使用單個內(nèi)核的卷積非常具有限制性菱阵。CNN通常在其每一層中同時使用許多內(nèi)核進(jìn)行卷積。為了解決這種差異缩功，可以調(diào)整經(jīng)典的傅立葉光學(xué)裝置以在光學(xué)中實現(xiàn)并行卷積并模擬單個CNN塊的功能(見圖1)晴及。因此，近年來在實現(xiàn)與現(xiàn)代CNN緊密匹配的光學(xué)計算能力方面取得了快速進(jìn)展嫡锌。然而虑稼，傅立葉光學(xué)方法的一些剩余挑戰(zhàn)包括實現(xiàn)光學(xué)非線性激活函數(shù)的難度以及相對于光子電路的大型器件外形。

前一個挑戰(zhàn)可以使用混合光電子計算方法解決世舰，再次使電光轉(zhuǎn)換過程的效率成為主要瓶頸(盡管高度集成的節(jié)能光電子學(xué)具有可以解決這種高效轉(zhuǎn)換的潛力)动雹。

為了實現(xiàn)比經(jīng)典傅立葉光學(xué)光路更緊湊的設(shè)備外形跟压，可以利用其它波-物質(zhì)相互作用進(jìn)行光學(xué)計算胰蝠。例如，可以使用散射層代替透鏡震蒋。每一個散射層代表優(yōu)化后的振幅或相位調(diào)制調(diào)制茸塞，以一定間隔安裝，以實現(xiàn)全光分類算法查剖。有趣的是钾虐，更復(fù)雜的優(yōu)化非均勻介質(zhì)形狀可用于實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)，例如元音分類笋庄。然而效扫，這并不是我們可以利用散射介質(zhì)的唯yi配置倔监。

在許多情況下菌仁，光在密集浩习、復(fù)雜的介質(zhì)中的傳播類似于將輸入場與隨機(jī)矩陣混合。這代表了一個有趣的計算操作济丘，并且已被證明幾乎是壓縮感知的理想選擇谱秽。在這類應(yīng)用中，每個輸出像素都是輸入的隨機(jī)投影摹迷，很像單像素相機(jī)范式(paradigm) 疟赊。這種方法還保留了大量信息，允許在沒有成像的情況下從深度上恢復(fù)一些功能信號(具體指的是從深層散射組織中恢復(fù)功能性熒光信號)峡碉，這對于神經(jīng)科學(xué)來說可能特別有意義近哟。該方法也適用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，如通過多模光纖成像或通過薄或厚散射介質(zhì)成像鲫寄。此外椅挣，復(fù)雜介質(zhì)本身已經(jīng)發(fā)現(xiàn)可以看作是神經(jīng)網(wǎng)絡(luò)的一種光學(xué)實現(xiàn)：連接權(quán)重是隨機(jī)矩陣的系數(shù)塔拳，非線性是相機(jī)檢測過程中強(qiáng)度的轉(zhuǎn)換，可以在不成像的情況下直接執(zhí)行分類任務(wù)峡竣。這種光傳播的數(shù)學(xué)重構(gòu)可以開辟非常有趣的光學(xué)計算研究途徑靠抑，特別是在任何使用大規(guī)模隨機(jī)矩陣乘法的計算問題中，包括儲備池計算(reservoir computing)适掰、相位復(fù)原和計算成像等颂碧。

(3) 基于深度計算光學(xué)和成像的推理。

計算成像是一個專注于光學(xué)和圖像處理協(xié)同設(shè)計的領(lǐng)域类浪，例如增強(qiáng)計算相機(jī)的能力载城。盡管相機(jī)被用于執(zhí)行許多不同的任務(wù)，但今天的相機(jī)旨在模仿人眼费就。它們捕獲3D環(huán)境的二維(2D)投影诉瓦，通常具有三個顏色通道力细。然而睬澡，其它動物的眼睛以非常不同的方式進(jìn)化，每一種都完美地適應(yīng)了它們的環(huán)境眠蚂。例如煞聪，某些螳螂蝦的光感受器不僅對光的偏振態(tài)敏感，而且包含多達(dá)12個不同的光譜帶逝慧，這些特征適合其光譜豐富的珊瑚礁生存環(huán)境昔脯。因此啄糙，相機(jī)可以適應(yīng)獨特的環(huán)境或針對特定任務(wù)進(jìn)行優(yōu)化，就像動物的眼睛一樣云稚。

使用傳統(tǒng)傳感器捕捉螳螂蝦所見shi界的挑戰(zhàn)之一是它們整合了不同維度的視覺數(shù)據(jù)隧饼。傳統(tǒng)的2D傳感器集成了入射全光函數(shù)的一定范圍內(nèi)的信息，即在波長譜碱鳞、入射角和場景深度、特定時間窗口的某個范圍上采集信息窿给，并且其動態(tài)范圍也受到限制贵白。因此，我們可以將現(xiàn)有的傳感器看作為一個瓶頸崩泡，阻止了一些視覺信息被采集到禁荒。光學(xué)工程師可以自由設(shè)計具有特定點擴(kuò)散函數(shù) (PSF) 的相機(jī)鏡頭，使用光譜選擇性濾光器設(shè)計傳感器像素的光譜靈敏度角撞，或選擇設(shè)計其它屬性呛伴。然而，開發(fā)專用成像系統(tǒng)的挑戰(zhàn)在于如何z好地設(shè)計此類儀器并利用這些工程能力谒所。

在這種情況下热康，將相機(jī)解釋為編碼器-解碼器系統(tǒng)是有幫助的。一個或多個鏡頭通過其深度變化點擴(kuò)展函數(shù)將場景投影到2D傳感器上劣领，從而對傳感器上的場景進(jìn)行光學(xué)編碼姐军，然后光譜過濾器確定如何集成色譜。通常尖淘，電子解碼器從原始傳感器測量中估計某些屬性奕锌。使用可微分圖像形成模型，我們可以模擬 3D 多光譜場景在傳感器上的光學(xué)投影村生，然后使用算法處理該數(shù)據(jù)惊暴。因此，我們可以將相機(jī)設(shè)計的問題整體視為光學(xué)和成像處理的端到端優(yōu)化（見圖 1）趁桃。這種“深度”計算相機(jī)可以在離線階段進(jìn)行訓(xùn)練辽话，以優(yōu)化高層(high level )損失函數(shù)的性能，例如圖像分類或目標(biāo)檢測镇辉。與傳統(tǒng)的計算機(jī)視覺方法類似屡穗，這種訓(xùn)練過程優(yōu)化了神經(jīng)網(wǎng)絡(luò)的權(quán)重或另一種可微算法的參數(shù)。然而忽肛，我們的編碼器-解碼器解釋更進(jìn)一步，允許將高層損失函數(shù)的誤差一直反向傳播到相機(jī)的物理參數(shù)中屹逛。因此础废，物理鏡頭和深度神經(jīng)網(wǎng)絡(luò)可以由損失函數(shù)和訓(xùn)練數(shù)據(jù)集定義(見圖 2),針對特定任務(wù)進(jìn)行聯(lián)合優(yōu)化汛骂。優(yōu)化后，物理層（在此示例中為鏡頭）可以制造并用于執(zhí)行推理任務(wù)评腺，例如比傳統(tǒng)數(shù)字層更穩(wěn)健帘瞭、更快或使用更少的功率對采集的圖像進(jìn)行分類。這種光學(xué)和圖像處理的端到端優(yōu)化被稱為“深度光學(xué)”蒿讥。

在過去的一年中蝶念，已經(jīng)為各種應(yīng)用提出了幾種深度光學(xué)方法。例如芋绸，該策略適用于優(yōu)化傳感器濾色器陣列的空間布局媒殉、新興神經(jīng)傳感器的像素曝光、顯微鏡和深度傳感的結(jié)構(gòu)化照明模式摔敛，以及用于擴(kuò)展景深的自由曲面透鏡的面型廷蓉、圖像分類 、平面相機(jī)马昙、高動態(tài)范圍成像桃犬、波長解復(fù)用或使用傳統(tǒng)2D相機(jī)進(jìn)行深度傳感等 。特別是深度意識(depth awareness)對于許多任務(wù)至關(guān)重要行楞，包括自動駕駛攒暇、機(jī)器人視覺、醫(yī)學(xué)成像和遙感子房。

盡管光學(xué)編碼器-電子解碼器解釋為端到端相機(jī)設(shè)計提供了直觀的動機(jī)扯饶，但它并不是深度光學(xué)成像方法中使用的相機(jī)的唯yi解釋。我們還可以將光學(xué)器件的工作原理解釋為一種計算池颈，即作為預(yù)處理或協(xié)處理器與處理記錄數(shù)據(jù)的電子平臺一起工作。通過這種解釋钓丰，我們可以嘗試通過讓光學(xué)器件完成盡可能多的工作來優(yōu)化計算成像系統(tǒng)的延遲和功率要求躯砰。zui近的研究表明携丁，這種解釋允許在光學(xué)中實現(xiàn)深度網(wǎng)絡(luò)的單個卷積層琢歇、全連接層或其它參數(shù)化層。在光學(xué)中實現(xiàn)神經(jīng)網(wǎng)絡(luò)或其它AI算法的一部分具有改進(jìn)系統(tǒng)延遲梦鉴、內(nèi)存使用李茫、電源效率、對噪聲或其它測量退化的魯棒性以及手頭任務(wù)的準(zhǔn)確性的變革潛力肥橙。然而魄宏，為計算機(jī)視覺和成像應(yīng)用開發(fā)真正的深度光學(xué)成像方法的挑戰(zhàn)之一依然是在光學(xué)中難以有效的實現(xiàn)非線性激活層，這些非線性激活層在通常由相機(jī)捕獲的非相干光的低光強(qiáng)度和寬帶寬下工作.

(4) 在顯微鏡中的應(yīng)用存筏。

深度學(xué)習(xí)方法產(chǎn)生顯著影響的另一個領(lǐng)域是光學(xué)顯微鏡宠互，其涵蓋各種模態(tài)味榛，包括相干成像以及明場和熒光顯微鏡。幾十年來予跌，解決顯微圖像重建和增強(qiáng)的逆問題一直是研究的熱門話題搏色。先前方法的一個關(guān)鍵組成部分是建立成像系統(tǒng)的前向模型券册∑到危基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動方法為解決光學(xué)顯微鏡中的逆問題提供了另一種途徑。經(jīng)過訓(xùn)練后烁焙，DNN可以提供一個非澈叫希快速的框架來執(zhí)行圖像重建和增強(qiáng)任務(wù)，而無需任何迭代考阱、參數(shù)調(diào)整或物理前向模型翠忠。深度學(xué)習(xí)在光學(xué)顯微鏡中的應(yīng)用包括明場顯微鏡、無透鏡顯微鏡乞榨、熒光顯微鏡秽之、超分辨率顯微鏡、共聚焦顯微鏡, 結(jié)構(gòu)照明顯微鏡等吃既。

在顯微鏡中也有深度學(xué)習(xí)的新興應(yīng)用考榨，根據(jù)我們目前對光-物質(zhì)相互作用的理解，不可能建立準(zhǔn)確的正向模型鹦倚。這方面的一個例子是跨模態(tài)圖像轉(zhuǎn)換，其中 DNN使用來自兩種不同成像模態(tài)的輸入和ground truth圖像數(shù)據(jù)進(jìn)行訓(xùn)練震叙，兩種成像模態(tài)之間不可能建立準(zhǔn)確的物理聯(lián)系掀鹅。例如，zui近的工作使用 DNN 將無標(biāo)記組織樣本的自發(fā)熒光或定量相位圖像轉(zhuǎn)換為明場等效圖像媒楼。在這里乐尊，不僅成像方式從熒光（或相位成像）變?yōu)槊鲌觯覙悠吩谌旧^程中也經(jīng)歷了一些轉(zhuǎn)變划址，這使得建立準(zhǔn)確的物理正向模型變得非常困難扔嵌。另一個這樣的跨模態(tài)圖像轉(zhuǎn)換網(wǎng)絡(luò)用于將單色全息圖轉(zhuǎn)換成具有明場顯微鏡的空間和光譜對比度的等效圖像等效圖像，該圖像在空間和時間上都是不相干的夺颤，沒有全息成像的相干偽影痢缎。

從基于深度學(xué)習(xí)的計算成像的角度來看，真正將顯微鏡與宏觀成像區(qū)分開來的是顯微鏡在硬件世澜、照明特性独旷、光-物質(zhì)相互作用、樣品特性和尺寸以及成像距離等方面的精度和可重復(fù)性，這些都是數(shù)據(jù)驅(qū)動的計算顯微鏡技術(shù)取得新成功的核心势告。此外蛇捌，即使在一天內(nèi)，自動掃描顯微鏡也可以生成足夠大的圖像數(shù)據(jù)咱台，例如包含超過 100,000 個訓(xùn)練圖像pathes以穩(wěn)健地訓(xùn)練模型络拌。

在顯微鏡中使用基于深度學(xué)習(xí)的方法的一個重要問題是幻覺(hallucination)和偽影的可能性。一般來說回溺，顯微鏡專家可以識別偽影春贸，因為它們包含看起來不真實的特征。相比之下遗遵，幻覺是指無法輕易與樣本的“真實”特征區(qū)分開來的特征萍恕。DNN 可以通過各種物理驅(qū)動的約束進(jìn)行正則化，通過設(shè)計它們的訓(xùn)練損失函數(shù)以包含物理項车要；因此允粤，將物理模型和相關(guān)約束與基于學(xué)習(xí)的圖像轉(zhuǎn)換相結(jié)合，可以為未來的計算顯微鏡方法形成一種強(qiáng)大的混合方法翼岁。我們還相信类垫，基于深度學(xué)習(xí)的計算顯微鏡逆問題解決方案將產(chǎn)生更好的正向模型的設(shè)計以及更好的圖像形成和重建理論的新理解。

此外悉患，還有一些潛在的策略可以減輕DNN模型的幻覺或偽影，至少可以警告用戶何時修改或微調(diào)他們的模型榆俺。例如售躁，這可以通過監(jiān)控新輸入數(shù)據(jù)的統(tǒng)計距離以及來自訓(xùn)練或驗證輸入和輸出對的相應(yīng)網(wǎng)絡(luò)輸出來實現(xiàn)，這可用于量化成像系統(tǒng)來自于假設(shè)和訓(xùn)練階段狀態(tài)的偏差茴晋。訓(xùn)練階段陪捷。遷移學(xué)習(xí)可用于在需要時有效地微調(diào)現(xiàn)有模型。事實上诺擅，這種通過附加數(shù)據(jù)和遷移學(xué)習(xí)對網(wǎng)絡(luò)模型進(jìn)行“定期維護(hù)和校準(zhǔn)”的方法對于高ji測量儀器來說在概念上并不新鮮揩局。

我們還應(yīng)該考慮已建立的模型從一種儀器到另一種儀器的可移植性。在特定顯微鏡硬件上訓(xùn)練的網(wǎng)絡(luò)模型原則上應(yīng)該在共享相同設(shè)計和組件的其它儀器中有用掀虎。然而，這在文獻(xiàn)中尚未得到廣泛探討付枫，并且模型的成像性能從一種顯微鏡儀器到其它儀器的權(quán)衡仍有待大規(guī)模量化烹玉，以更好地理解遷移學(xué)習(xí)的水平和所需的校準(zhǔn)方法在具有相同光學(xué)設(shè)計和組件的新儀器上忠實地運行經(jīng)過訓(xùn)練的模型。

深度學(xué)習(xí)還創(chuàng)造了使光學(xué)顯微鏡任務(wù)特定化的新機(jī)會阐滩，其中顯微鏡的功能將擴(kuò)展到觀察到的物體特征之外二打，還包括推理——例如通過優(yōu)化的光學(xué)集成和電子計算識別感興趣的空間或時間特征。我們相信掂榔，未來支持深度學(xué)習(xí)的顯微鏡設(shè)計將在前端使用特定任務(wù)的光學(xué)處理器继效。根據(jù)特定顯微成像任務(wù)的性質(zhì)症杏，將照明連接到樣品或?qū)悠愤B接到光電探測器陣列的前端計算光學(xué)接口以進(jìn)行優(yōu)化，類似于zui近演示的衍射系統(tǒng)通過光的衍射執(zhí)行計算瑞信。這種范式還將改變光電探測器陣列本身的設(shè)計（例如厉颤，像素的配置及其位置、形狀和數(shù)量）凡简，使光學(xué)和電子之間的探測器接口成為另一個可訓(xùn)練的參數(shù)空間逼友。因此，光學(xué)前端秤涩、光電探測器和后端電子計算構(gòu)成了一個完全可訓(xùn)練的顯微鏡帜乞。

我們認(rèn)為，這些新型“思維顯微鏡”可以緩解與當(dāng)前顯微鏡設(shè)計相關(guān)的一些挑戰(zhàn)筐眷，這些挑戰(zhàn)通常會獲取不必要的大量數(shù)據(jù)黎烈，從而為數(shù)據(jù)采樣、存儲匀谣、處理和相關(guān)能源需求帶來巨大負(fù)擔(dān)照棋。通過深度學(xué)習(xí)方法全面優(yōu)化顯微鏡的設(shè)計振定，一個特定任務(wù)的顯微鏡可以潛在地以更少的像素（或三維體素）必怜、更高的幀率和更小的功率執(zhí)行所需的推理或成像操作，并且還大大降低了數(shù)據(jù)存儲要求后频。與傳統(tǒng)的圖像形成梳庆、數(shù)字化和處理順序不同，支持深度學(xué)習(xí)的顯微鏡將合并和擴(kuò)散所有這些功能(包括對其設(shè)計所有方面的推理),從而作為一個單一的任務(wù)優(yōu)化系統(tǒng)工作卑惜。

參考文獻(xiàn)：Wetzstein, G., Ozcan, A., Gigan, S. et al. Inference in artificial intelligence with deep optics and photonics. Nature 588, 39–47 (2020).

DOI：https://doi.org/10.1038/s41586-020-2973-6

更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電

關(guān)于昊量光電：

上海昊量光電設(shè)備有限公司是光電產(chǎn)品專業(yè)代理商膏执，產(chǎn)品包括各類激光器、光電調(diào)制器露久、光學(xué)測量設(shè)備更米、光學(xué)元件等，涉及應(yīng)用涵蓋了材料加工毫痕、光通訊征峦、生物醫(yī)療、科學(xué)研究消请、國防栏笆、量子光學(xué)、生物顯微蛉加、物聯(lián)傳感、激光制造等；可為客戶提供完整的設(shè)備安裝针饥，培訓(xùn)厂抽，硬件開發(fā)，軟件開發(fā)丁眼，系統(tǒng)集成等服務(wù)筷凤。

您可以通過我們昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息，或直接來電咨詢4006-888-532户盯。

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請聯(lián)系獲得授權(quán)嵌施。