圖片顯示了金屬深度傳感器實(shí)時(shí)工作，以捕獲透明蠟燭火焰的深度。左側(cè)的兩個(gè)圖像是在相機(jī)傳感器上捕獲的原始圖像。它們由金屬元素形成，并且模糊程度略有不同。研究人員從這兩幅圖像中實(shí)時(shí)計(jì)算出物體的深度。右圖顯示了計(jì)算出的深度圖。圖片來(lái)源：郭琦和石柱君/哈佛大學(xué)

對(duì)于我們所有的技術(shù)進(jìn)步，在研發(fā)方面，沒有比發(fā)展更勝一籌。以跳蛛。盡管這些小蜘蛛的大腦很小，但它們?nèi)跃哂辛钊擞∠笊羁痰纳疃雀兄�能力，使它們能夠從幾個(gè)體長(zhǎng)處準(zhǔn)確地突擊那些毫無(wú)戒心的目標(biāo)。

受這些蜘蛛的啟發(fā)，哈佛大學(xué)約翰·保爾森工程與應(yīng)用科學(xué)學(xué)院（SEAS）的研究人員開發(fā)了一種緊湊而高效的深度傳感器，該傳感器可用于微型機(jī)器人，小型可穿戴設(shè)備或輕型虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)中耳機(jī)。該設(shè)備將多功能，扁平的金屬元素與超高效算法結(jié)合在一起，可以一次測(cè)量深度。

“進(jìn)化產(chǎn)生了各種各樣的光學(xué)配置和視覺系統(tǒng)，這些光學(xué)配置和視覺系統(tǒng)是針對(duì)不同目的而量身定制的，”博士Zhujun Shi說(shuō)。物理學(xué)系候選人，論文的第一作者�！肮鈱W(xué)設(shè)計(jì)和納米技術(shù)最終使我們能夠探索人造深度傳感器和其他視覺系統(tǒng)，這些系統(tǒng)同樣具有多樣性和有效性。”

該研究發(fā)表在《美國(guó)國(guó)家科學(xué)院院刊》上。

當(dāng)今許多深度傳感器，例如電話，汽車和視頻游戲機(jī)中的深度傳感器，都使用集成光源和多個(gè)攝像頭來(lái)測(cè)量距離。例如，智能手機(jī)上的人臉I(yè)D使用數(shù)千個(gè)激光點(diǎn)來(lái)映射人臉輪廓。這適用于具有電池和快速計(jì)算機(jī)空間的大型設(shè)備，但是對(duì)于功率和計(jì)算量有限的小型設(shè)備（如智能手表或微型機(jī)器人）呢？

視頻顯示了金屬化深度傳感器實(shí)時(shí)工作以捕獲果蠅的深度。左側(cè)的兩個(gè)圖像是在相機(jī)傳感器上捕獲的原始圖像。它們由金屬元素形成，并且模糊程度略有不同。研究人員從這兩幅圖像中實(shí)時(shí)計(jì)算出物體的深度。右圖顯示了計(jì)算出的深度圖。圖片來(lái)源：郭琦和石柱君/哈佛大學(xué)

事實(shí)證明，進(jìn)化提供了許多選擇。

人類使用立體視覺來(lái)測(cè)量深度，這意味著當(dāng)我們看著一個(gè)物體時(shí)，我們的兩只眼睛中的每只正在收集略有不同的圖像。嘗試以下操作：將手指直接放在您的臉部前面，然后交替睜開和閉合雙眼�？纯词种溉绾我苿�(dòng)？我們的大腦拍攝這兩個(gè)圖像，逐個(gè)像素地檢查它們，并根據(jù)像素的移動(dòng)方式計(jì)算到手指的距離。

SEAS的電氣工程和計(jì)算機(jī)科學(xué)教授，William and Ami Kuan Danoff也是該雜志的共同作者之一，Todd Zickler說(shuō)：“這種匹配的計(jì)算方法是，您拍攝兩張圖像并搜索對(duì)應(yīng)的零件，這在計(jì)算上非常繁瑣�！毖芯俊！叭祟悓�(duì)這些計(jì)算有很好的頭腦，但蜘蛛?yún)s沒有�！�

跳蛛已經(jīng)發(fā)展出一種更有效的深度測(cè)量系統(tǒng)。每只主眼都有一些分層排列的半透明視網(wǎng)膜，這些視網(wǎng)膜可測(cè)量具有不同模糊量的多個(gè)圖像。例如，如果一只跳躍的蜘蛛用一只主眼注視著一只果蠅，則該果蠅在一個(gè)視網(wǎng)膜的圖像中會(huì)顯得更清晰，而在另一個(gè)視網(wǎng)膜的圖像中則更模糊。這種模糊變化會(huì)編碼有關(guān)飛行距離的信息。

在計(jì)算機(jī)視覺中，這種距離計(jì)算類型稱為離焦深度。但是到目前為止，要復(fù)制《自然》雜志，需要具有機(jī)動(dòng)內(nèi)部組件的大型相機(jī)，這些相機(jī)可以隨時(shí)間捕獲聚焦不同的圖像。這限制了傳感器的速度和實(shí)際應(yīng)用。

為緊湊的深度感應(yīng)設(shè)計(jì)的金屬元件的插圖。它由亞波長(zhǎng)間隔的方形納米柱組成。通過(guò)交替顯示兩種不同的納米柱圖案（在此以紅色和藍(lán)色顯示），該金屬元素同時(shí)形成了兩個(gè)圖像。這兩個(gè)圖像模仿了跳躍蜘蛛眼中分層視網(wǎng)膜捕獲的圖像。圖片來(lái)源：郭琦和石柱君/哈佛大學(xué)

那就是金屬元素進(jìn)入的地方。

Federico Capasso，Robert L. Wallace應(yīng)用物理學(xué)教授，SEAS電氣工程高級(jí)研究員，論文的共同作者Vinton Hayes，他的實(shí)驗(yàn)室已經(jīng)證明了metalenses可以同時(shí)產(chǎn)生包含不同信息的多個(gè)圖像。在這項(xiàng)研究的基礎(chǔ)上，該團(tuán)隊(duì)設(shè)計(jì)了一種金屬顏料，可以同時(shí)產(chǎn)生兩個(gè)具有不同模糊度的圖像。

“不是像跳躍的蜘蛛那樣，使用分層的視網(wǎng)膜來(lái)捕獲多個(gè)同時(shí)的圖像，而是金屬元素將光分開并在一個(gè)光電傳感器上并排形成兩個(gè)散焦不同的圖像，”卡帕索實(shí)驗(yàn)室的一部分的史說(shuō)。

由Zickler小組開發(fā)的一種超高效算法，然后解釋這兩個(gè)圖像并構(gòu)建一個(gè)深度圖來(lái)表示物距。

“能夠一起設(shè)計(jì)超表面和計(jì)算算法非常令人興奮，”博士Qi Guo表示。Zickler實(shí)驗(yàn)室的候選人，也是該論文的第一作者�！斑@是創(chuàng)建計(jì)算傳感器的新方法，它為許多可能性打開了大門�！�

卡帕索說(shuō)：“金屬眼鏡是一種改變游戲規(guī)則的技術(shù)，因?yàn)樗鼈兡軌蚋�有效，更快地�?shí)現(xiàn)現(xiàn)有和新的光學(xué)功能，并且體積和復(fù)雜性要小得多�！� “融合光學(xué)設(shè)計(jì)和計(jì)算成像方面的突破，使我們開發(fā)出了這款新型深度相機(jī)，它將為科學(xué)和技術(shù)領(lǐng)域帶來(lái)廣泛的機(jī)會(huì)�！�