用反向傳播訓(xùn)練的深度物理神經(jīng)網(wǎng)絡(luò)

正文

用反向傳播訓(xùn)練的深度物理神經(jīng)網(wǎng)絡(luò)

技術(shù)背景：

與人工智能的許多歷史發(fā)展一樣莺禁，深度神經(jīng)網(wǎng)絡(luò)(DNN)得以廣泛采用的部分原因在于協(xié)同硬件。2012年窄赋，Krizhevsky等人表明反向傳播算法可以使用GPU有效地執(zhí)行哟冬，以訓(xùn)練大型DNN進(jìn)行圖像分類。自2012年以來忆绰，DNN模型的計(jì)算需求迅速增長(zhǎng)浩峡，甚至超過了摩爾定律。現(xiàn)在DNN越來越受到硬件能效的限制错敢。

新興的DNN能量問題激發(fā)了專用硬件:DNN加速器翰灾。其中大部分是基于硬件物理和DNN中的數(shù)學(xué)運(yùn)算之間的直接數(shù)學(xué)同構(gòu)。一些加速器方案使用傳統(tǒng)電子設(shè)備之外的物理系統(tǒng)稚茅，如光學(xué)和模擬電子交叉陣列等预侯。大多數(shù)設(shè)備都針對(duì)深度學(xué)習(xí)的推理階段(現(xiàn)在也有越來越多的設(shè)備針對(duì)訓(xùn)練階段)，這占商業(yè)部署中深度學(xué)習(xí)能源成本的90%峰锁。

然而萎馅，通過為嚴(yán)格的、逐個(gè)操作的數(shù)學(xué)同構(gòu)設(shè)計(jì)硬件來實(shí)現(xiàn)訓(xùn)練有素的數(shù)學(xué)變換并不是執(zhí)行高效機(jī)器學(xué)習(xí)的唯一方法虹蒋。相反糜芳，我們可以直接訓(xùn)練硬件的物理變換來執(zhí)行所需的計(jì)算。這種操作可以稱為物理神經(jīng)網(wǎng)絡(luò)(physical neural network, PNN)魄衅。PNN強(qiáng)調(diào)訓(xùn)練的是物理過程峭竣，而不是數(shù)學(xué)運(yùn)算。這種區(qū)別不僅僅是語(yǔ)義上的：通過打破傳統(tǒng)的軟件-硬件劃分晃虫，PNN提供了從幾乎任何可控物理系統(tǒng)構(gòu)建神經(jīng)網(wǎng)絡(luò)硬件的可能性皆撩。正如任何模擬過復(fù)雜物理系統(tǒng)的人所了解的那樣，物理變換通常比對(duì)應(yīng)的數(shù)字仿真更快且消耗更少的能量哲银。這表明扛吞，PNN可以比傳統(tǒng)范式更有效地執(zhí)行某些計(jì)算，從而為更可拓展荆责、更節(jié)能和更快的機(jī)器學(xué)習(xí)提供途徑滥比。

PNN尤其適用于類似于DNN的計(jì)算。正如它們對(duì)自然數(shù)據(jù)的穩(wěn)健處理所預(yù)期的那樣做院，DNN和物理過程具有許多結(jié)構(gòu)相似性盲泛，如層次結(jié)構(gòu)(hierarchy)濒持、近似對(duì)稱性(approximate symmetries)、噪聲寺滚、冗余和非線性柑营。隨著物理系統(tǒng)的發(fā)展，它們執(zhí)行的變換有效地等效于DNN中常用的數(shù)學(xué)運(yùn)算的近似村视、變體和/或組合官套，如卷積、非線性和矩陣向量乘法蓖议。因此虏杰，使用受控物理變換序列，可以實(shí)現(xiàn)可訓(xùn)練的分層物理計(jì)算勒虾，即深度PNN纺阔。

盡管通過直接訓(xùn)練物理變換來構(gòu)建計(jì)算機(jī)的范式起源于進(jìn)化的計(jì)算材料，但它今天正在各個(gè)領(lǐng)域出現(xiàn)修然，包括光學(xué)笛钝、自旋電子納米振蕩器、納米電子器件和小規(guī)模量子計(jì)算機(jī)愕宋。一個(gè)密切相關(guān)的趨勢(shì)是物理儲(chǔ)備池計(jì)算(physical reservoir computing, PRC)玻靡，其中未經(jīng)訓(xùn)練的物理“儲(chǔ)備池”的變換由可訓(xùn)練的輸出層線性組合。盡管 PRC利用通用物理過程進(jìn)行計(jì)算中贝，但它無法實(shí)現(xiàn)類似DNN的分層計(jì)算囤捻。相比之下，訓(xùn)練物理變換本身的方法原則上可以克服這一限制邻寿。為了通過實(shí)驗(yàn)訓(xùn)練物理變換蝎土，研究人員經(jīng)常依賴無梯度學(xué)習(xí)算法。而基于梯度的學(xué)習(xí)算法(如反向傳播算法)绣否，被認(rèn)為對(duì)于大規(guī)模DNN的高效訓(xùn)練和良好泛化至關(guān)重要誊涯。因此，出現(xiàn)了在物理硬件中實(shí)現(xiàn)基于梯度的訓(xùn)練的提議蒜撮。然而暴构，這些鼓舞人心的提議做出了排除許多物理系統(tǒng)的假設(shè)，例如線性段磨、無耗散演化或梯度動(dòng)力學(xué)可以很好地描述系統(tǒng)取逾。克服這些限制的一般方法是在計(jì)算機(jī)上訓(xùn)練薇溃，即完全在數(shù)值模擬中學(xué)習(xí)菌赖。但是，在計(jì)算機(jī)上學(xué)習(xí)到的非線性物理系統(tǒng)通常不夠準(zhǔn)確沐序，不能將模型準(zhǔn)確地遷移到真實(shí)設(shè)備上琉用。

技術(shù)要點(diǎn)：

基于此，美國(guó)康奈爾大學(xué)的Logan G. Wright(一作兼通訊)等人提出了一種使用反向傳播直接訓(xùn)練任意物理系統(tǒng)來執(zhí)行DNN的通用框架策幼。作者引入稱為物理感知訓(xùn)練(physics-aware training,PAT)的混合原位-計(jì)算機(jī)算法邑时，它應(yīng)用反向傳播來訓(xùn)練可控的物理系統(tǒng)。正如深度學(xué)習(xí)通過由數(shù)學(xué)函數(shù)層構(gòu)成的深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)計(jì)算一樣特姐，這種方法允許我們訓(xùn)練由可控物理系統(tǒng)層構(gòu)成的深度物理神經(jīng)網(wǎng)絡(luò)晶丘，即使物理層與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)層缺乏任何數(shù)學(xué)同構(gòu)。作者為了證明其方法的普遍性唐含，訓(xùn)練了基于光學(xué)浅浮、力學(xué)和電子學(xué)的各種物理神經(jīng)網(wǎng)絡(luò)，以實(shí)驗(yàn)性地執(zhí)行音頻和圖像分類任務(wù)捷枯。

圖 1：PNN 簡(jiǎn)介滚秩。a，人工神經(jīng)網(wǎng)絡(luò)包含操作單元(層)：通常是可訓(xùn)練的矩陣向量乘法淮捆，然后是逐元素的非線性激活函數(shù)郁油。b，DNN 使用一系列層攀痊，并且可以被訓(xùn)練以對(duì)輸入數(shù)據(jù)實(shí)施多步(分層)變換桐腌。c，當(dāng)物理系統(tǒng)演變時(shí)苟径，它們實(shí)際上執(zhí)行計(jì)算案站。它們的可控屬性被劃分為輸入數(shù)據(jù)和控制參數(shù)。更改參數(shù)會(huì)更改對(duì)數(shù)據(jù)執(zhí)行的變換棘街。這里考慮三個(gè)例子蟆盐。在機(jī)械(電子)系統(tǒng)中，輸入數(shù)據(jù)和參數(shù)被編碼為施加到金屬板(非線性電路)的隨時(shí)間變化的力(電壓)蹬碧。然后通過麥克風(fēng)(示波器)測(cè)量受控的多模振蕩(瞬態(tài)電壓)舱禽。在非線性光學(xué)系統(tǒng)中，脈沖通過 χ(2) 晶體恩沽，產(chǎn)生非線性混合輸出誊稚。輸入數(shù)據(jù)和參數(shù)編碼在輸入脈沖的頻譜中，輸出從倍頻脈沖的頻譜中獲得罗心。d里伯，與由可訓(xùn)練非線性數(shù)學(xué)函數(shù)序列構(gòu)建的DNN一樣，所構(gòu)建具有可訓(xùn)練物理變換序列的深度PNN渤闷。在 PNN 中疾瓮，每個(gè)物理層都實(shí)現(xiàn)了一個(gè)可控的物理函數(shù)，它確實(shí)需要在數(shù)學(xué)上與傳統(tǒng)的DNN層同構(gòu)飒箭。

實(shí)驗(yàn)結(jié)果：

圖 2：使用寬帶光學(xué)SHG實(shí)驗(yàn)實(shí)現(xiàn)的示例PNN狼电。a蜒灰，輸入數(shù)據(jù)被編碼到激光脈沖的光譜中。為了控制寬帶SHG 過程實(shí)現(xiàn)的變換肩碟，脈沖頻譜的一部分用作可訓(xùn)練參數(shù)(橙色)强窖。物理計(jì)算結(jié)果是從 χ(2) 介質(zhì)中產(chǎn)生的藍(lán)色(約 390nm)脈沖的光譜中獲得的。b削祈，為了構(gòu)建深度PNN翅溺，SHG變換的輸出用作后續(xù)SHG變換的輸入，且各自具有獨(dú)立的可訓(xùn)練參數(shù)髓抑。c, d, 在訓(xùn)練 SHG-PNN后咙崎，它以 93% 的準(zhǔn)確率對(duì)測(cè)試元音進(jìn)行分類。c吨拍，測(cè)試集上 PNN 的混淆矩陣褪猛。d，最終層輸出光譜的代表性示例密末，顯示了SHG-PNN的預(yù)測(cè)握爷。

圖 3：物理感知訓(xùn)練(PAT)。a严里，PAT是一種混合原位 - 計(jì)算機(jī)算法新啼，用于應(yīng)用反向傳播來訓(xùn)練可控的物理參數(shù)，以便物理系統(tǒng)即使在存在建模錯(cuò)誤和物理噪聲的情況下也能準(zhǔn)確地執(zhí)行機(jī)器學(xué)習(xí)任務(wù)刹碾。PAT不是僅在數(shù)字模型(計(jì)算機(jī))中執(zhí)行訓(xùn)練燥撞，而是使用物理系統(tǒng)來計(jì)算前向傳遞。盡管a中只描繪了一層迷帜，但PAT自然地推廣到多層物舒。b，對(duì)于圖2b中描述的實(shí)驗(yàn)性SHG-PNN戏锹，PAT和計(jì)算機(jī)訓(xùn)練的驗(yàn)證精度與訓(xùn)練epoch曲線比較冠胯。c，SHG-PNNs的PAT和計(jì)算機(jī)訓(xùn)練最終實(shí)驗(yàn)測(cè)試精度(物理層數(shù)增加)锦针。誤差線的長(zhǎng)度代表兩個(gè)標(biāo)準(zhǔn)誤差荠察。

圖 4：不同物理系統(tǒng)的圖像分類∧嗡眩基于三個(gè)物理系統(tǒng)(機(jī)械悉盆、電子和光學(xué))訓(xùn)練PNN，以對(duì)手寫數(shù)字的圖像進(jìn)行分類馋吗。a焕盟，機(jī)械PNN：由時(shí)間變化力驅(qū)動(dòng)金屬板的多模振蕩對(duì)輸入圖像數(shù)據(jù)和參數(shù)進(jìn)行編碼的。b宏粤，機(jī)械PNN 多層架構(gòu)脚翘。c灼卢，使用PAT訓(xùn)練的機(jī)械PNN的驗(yàn)證分類精度與訓(xùn)練epoch的對(duì)比。對(duì)于參考模型也顯示了相同的曲線堰怨，其中喇叭實(shí)現(xiàn)的物理轉(zhuǎn)換被恒等運(yùn)算所取代芥玉。d蛇摸，訓(xùn)練后機(jī)械PNN的混淆矩陣备图。e-h，分別與 a-d 相同赶袄，但用于非線性模擬電子 PNN揽涮。i-l，分別與 a-d 相同饿肺，用于基于寬帶光學(xué)SHG的混合物理-數(shù)字PNN蒋困。基于機(jī)械敬辣、電子和光學(xué)的 PNN 的最終測(cè)試精度分別為 87%雪标、93% 和 97%。

參考文獻(xiàn)：Wright, L.G., Onodera, T., Stein, M.M. et al. Deep physical neural networks trained with backpropagation. Nature 601, 549–555 (2022).

DOI：https://doi.org/10.1038/s41586-021-04223-6

關(guān)于昊量光電：

上海昊量光電設(shè)備有限公司是國(guó)內(nèi)知名光電產(chǎn)品專業(yè)代理商溉跃，代理品牌均處于相關(guān)領(lǐng)域的發(fā)展前沿村刨；產(chǎn)品包括各類激光器、光電調(diào)制器撰茎、光學(xué)測(cè)量設(shè)備嵌牺、精密光學(xué)元件等，涉及應(yīng)用領(lǐng)域涵蓋了材料加工龄糊、光通訊逆粹、生物醫(yī)療、科學(xué)研究炫惩、國(guó)防及更細(xì)分的前沿市場(chǎng)如量子光學(xué)僻弹、生物顯微、物聯(lián)傳感他嚷、精密加工蹋绽、先進(jìn)激光制造等；可為客戶提供完整的設(shè)備安裝爸舒，培訓(xùn)蟋字，硬件開發(fā)，軟件開發(fā)扭勉，系統(tǒng)集成等優(yōu)質(zhì)服務(wù)鹊奖。

 

您可以通過昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息，或直接來電咨詢4006-888-532涂炎。

 

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系獲得授權(quán)