神經(jīng)納米光學(xué)用于高質(zhì)量薄透鏡成像

正文

神經(jīng)納米光學(xué)用于高質(zhì)量薄透鏡成像

技術(shù)背景：

近幾十年來(lái)棋枕，強(qiáng)度傳感器的小型化使得當(dāng)今的相機(jī)在許多領(lǐng)域得到廣泛應(yīng)用。如妒峦，醫(yī)學(xué)影像重斑、智能手機(jī)、安防肯骇、機(jī)器人和自動(dòng)駕駛等窥浪。然而，成像器(imager)的尺寸如果能夠再小一個(gè)數(shù)量級(jí)笛丙，那它將在納米機(jī)器人漾脂、體內(nèi)成像、AR/VR若债、健康檢測(cè)等領(lǐng)域激發(fā)更多的新應(yīng)用符相。雖然確實(shí)存在亞微米像素尺寸的圖像傳感器拆融，但是傳統(tǒng)光學(xué)限制了成像器的進(jìn)一步小型化蠢琳。傳統(tǒng)成像系統(tǒng)由一系列校正像差的折射光學(xué)元件組成笨重的鏡頭，是為相機(jī)尺寸的下限镜豹。還有一個(gè)基本的障礙在于鏡頭焦距難以縮短傲须，因?yàn)檫@會(huì)引入更大的色差。

基于計(jì)算設(shè)計(jì)的超表面光學(xué)(meta-optics)是成像器小型化的可行手段之一趟脂。超薄的meta-optics使用亞波長(zhǎng)級(jí)納米天線(nano-antennas)泰讽，以比傳統(tǒng)的衍射光學(xué)元件(DOE)更大的設(shè)計(jì)自由度和空間帶寬積來(lái)調(diào)制入射光。此外昔期，meta-optical散射體豐富的模態(tài)特性使得其比DOE具有更多的能力已卸，如偏振、頻率硼一、角度多路復(fù)用等累澡。meta-optics可以使用廣泛可用的集成電路代工技術(shù)制造(如深紫外光刻(DUV))，而無(wú)需基于聚合物的DOE或二元光學(xué)器件中使用的多個(gè)蝕刻步驟般贼、金剛石車(chē)削或灰度光刻(grayscale lithography)愧哟。

盡管meta-optics優(yōu)勢(shì)很大，且在用于成像哼蛆、偏振控制蕊梧、全息的平面光學(xué)器件中得到應(yīng)用，但是當(dāng)前其缺陷也很明顯腮介。受限于meta-optics賦予的不連續(xù)的相位分布肥矢，產(chǎn)生了嚴(yán)重的、波長(zhǎng)相關(guān)的像差叠洗，使得現(xiàn)有的超表面成像方法比基于折射元件的鏡頭在圖像重建誤差上要高出一個(gè)數(shù)量級(jí)甘改。色散工程(dISPersion engineering)旨在通過(guò)利用群延遲和群延遲色散聚焦寬帶光來(lái)緩解與波長(zhǎng)相關(guān)的像差靴迫，但是這種技術(shù)從根本上不能擁有大孔徑設(shè)計(jì)。因此楼誓，現(xiàn)有的方法在不嚴(yán)重減小數(shù)值孔徑或支持的波長(zhǎng)范圍的情況下玉锌，無(wú)法增加可實(shí)現(xiàn)的孔徑尺寸。其它一些嘗試解決方案僅限于離散波長(zhǎng)或窄帶照明疟羹。

除了色差外主守，超表面還具有強(qiáng)烈的幾何像差，限制了它們?cè)趯?mark class="span_mark" data-type="1">視場(chǎng)成像中的應(yīng)用榄融。而支持寬視場(chǎng)的手段通常要么依賴(lài)于小的輸入孔徑(限制光的采集)参淫，要么使用多個(gè)超表面(極大增加制造復(fù)雜度)。此外愧杯，多個(gè)超表面之間是有間隙的涎才，且間隙與孔徑成線性比例，因此隨著孔徑的增加力九，meta-optics的尺寸優(yōu)勢(shì)就消失了耍铜。

最近，利用計(jì)算成像將像差校正的任務(wù)轉(zhuǎn)移到后端處理軟件上已經(jīng)成為一種新的手段跌前。盡管這些方法可以在沒(méi)有嚴(yán)格孔徑限制的情況下實(shí)現(xiàn)全彩成像超表面棕兼，但它們僅限于20度以下的視場(chǎng)角，并且重建的空間分辨率比傳統(tǒng)折射光學(xué)低一個(gè)數(shù)量級(jí)抵乓。此外伴挚，現(xiàn)有的學(xué)習(xí)去卷積方法僅限于標(biāo)準(zhǔn)編碼器-解碼器架構(gòu)的變體，例如U-Net灾炭，并且通常無(wú)法推廣到實(shí)驗(yàn)測(cè)量或處理大像差茎芋。

近來(lái)提出了一些新的成像器，如單光學(xué)元件相機(jī)蜈出、無(wú)透鏡相機(jī)等田弥。單光學(xué)元件替代多個(gè)光學(xué)元件的堆疊，減小了尺寸掏缎，但是由于低衍射效率皱蹦，其成像性能無(wú)法與商用成像器相比。即使其最成功的案例也由于焦距大于10mm使得小型化失敗眷蜈。無(wú)透鏡相機(jī)用振幅掩膜替代光學(xué)元件來(lái)縮小尺寸沪哺，但是空間分辨率嚴(yán)重受限，采集時(shí)間變長(zhǎng)酌儒。

當(dāng)前不足：

目前各種逆向設(shè)計(jì)技術(shù)已經(jīng)被用于meta-optics的設(shè)計(jì)辜妓。但是由于內(nèi)存要求過(guò)高，現(xiàn)有的端到端優(yōu)化框架無(wú)法擴(kuò)展到大孔徑尺寸，并且其沒(méi)有針對(duì)最終的全彩圖像質(zhì)量進(jìn)行優(yōu)化籍滴，而且通常依賴(lài)于焦斑強(qiáng)度這樣的中間指標(biāo)酪夷。

文章創(chuàng)新點(diǎn)：

基于此，美國(guó)普林斯頓大學(xué)的Ethan Tseng(一作)和Felix Heide(通訊)提出一種端到端可微成像模型聯(lián)合優(yōu)化超表面和解卷積算法孽惰，設(shè)計(jì)了一個(gè)高質(zhì)量晚岭、偏振不敏感的納米光學(xué)成像器，可以用于400-700nm的全彩勋功、40°寬視場(chǎng)成像坦报。成像效果可以媲美含6個(gè)鏡片、體積是其55萬(wàn)倍的鏡頭狂鞋。超表面F數(shù)為2片择，孔徑為500um，其涵蓋散射體數(shù)為160萬(wàn)個(gè)骚揍。相比以往的超表面設(shè)計(jì)方法字管，孔徑翻倍，散射體數(shù)多一個(gè)數(shù)量級(jí)信不，計(jì)算效率還大大提升嘲叔。

原理解析：

將物理上的超表面和圖像傳感器的成像與解卷積重建看作網(wǎng)絡(luò)的前向傳播模型，然后浑塞，網(wǎng)絡(luò)輸出與Ground Truth對(duì)比獲得損失函數(shù)借跪，反向傳播優(yōu)化超表面的面型參數(shù)和解卷積網(wǎng)絡(luò)的參數(shù)。超表面加工使用DUV光刻加工酌壕，便于大規(guī)模生產(chǎn)。

成像模型為：

圖像與光學(xué)系統(tǒng)的PSF卷積歇由，相機(jī)感光加上其本身的噪聲得到帶噪聲的圖像卵牍，然后利用解卷積算法求得重建圖像。作者在成像模型采取了一些特殊操作沦泌，使得計(jì)算量大大減小糊昙。一是對(duì)多項(xiàng)式擬合meta-optics的冪用偶數(shù)，使得PSF是對(duì)稱(chēng)的谢谦，從而只要沿著一個(gè)軸就可以模擬整個(gè)視場(chǎng)释牺。二是用代理函數(shù)(proxy function)在局部相位近似下模擬散射體的相位響應(yīng)，從而能使用自動(dòng)微分進(jìn)行逆向設(shè)計(jì)回挽。最終內(nèi)存需要相比傳統(tǒng)方法(FDTD法)下降近3000倍没咙，速度提升三個(gè)數(shù)量級(jí)。

設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)千劈，在學(xué)習(xí)的特征空間而不是原始圖像強(qiáng)度上做解卷積祭刚。這種技術(shù)結(jié)合了基于模型的解卷積的泛化能力和神經(jīng)網(wǎng)絡(luò)的有效特征學(xué)習(xí)，從而能夠解決具有嚴(yán)重像差和大空間范圍的PSF的meta-optics的圖像解卷積，即使在模擬中訓(xùn)練涡驮，也可以很好的推廣到實(shí)驗(yàn)采集的圖像暗甥。

成像模型公式：

I是訓(xùn)練的Ground Truth,O是前向傳播得到的像。 fMETA作用在超表面上得到超表面的點(diǎn)擴(kuò)散函數(shù)PSF捉捅，fSENSOR描述圖像傳感器感光加上其本身的讀取噪聲撤防。星號(hào)*代表卷積。

優(yōu)化問(wèn)題公式：

方程左邊大括號(hào)內(nèi)棒口，前者用于加工meta-optics即碗，后者用于確定解卷積算法。

附圖：

因?yàn)楹蠼怪挥?mm陌凳，作者所用圖像傳感器不適于直接接收像面剥懒，因此使用物鏡加tube lens作為中繼鏡頭。

（晶圓級(jí)鏡頭尺寸也可以達(dá)到本文超表面如此程度合敦，如ovm6948初橘，視場(chǎng)角120°，0.65mmX0.65mm）

參考文獻(xiàn)：Tseng, E., Colburn, S., Whitehead, J. et al. Neural nano-optics for high-quality thin lens imaging. Nat Commun 12, 6493 (2021).

DOI：https://doi.org/10.1038/s41467-021-26443-0

關(guān)于昊量光電：

上海昊量光電設(shè)備有限公司是國(guó)內(nèi)知名光電產(chǎn)品專(zhuān)業(yè)代理商充岛，代理品牌均處于相關(guān)領(lǐng)域的發(fā)展前沿保檐；產(chǎn)品包括各類(lèi)激光器、光電調(diào)制器崔梗、光學(xué)測(cè)量設(shè)備夜只、精密光學(xué)元件等，涉及應(yīng)用領(lǐng)域涵蓋了材料加工蒜魄、光通訊扔亥、生物醫(yī)療、科學(xué)研究谈为、國(guó)防及更細(xì)分的前沿市場(chǎng)如量子光學(xué)旅挤、生物顯微、物聯(lián)傳感伞鲫、精密加工粘茄、先進(jìn)激光制造等；可為客戶提供完整的設(shè)備安裝秕脓，培訓(xùn)柒瓣，硬件開(kāi)發(fā)，軟件開(kāi)發(fā)吠架，系統(tǒng)集成等優(yōu)質(zhì)服務(wù)芙贫。

您可以通過(guò)昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息，或直接來(lái)電咨詢(xún)4006-888-532诵肛。

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系獲得授權(quán)屹培。