原創(chuàng) | 文 BFT機(jī)器人

隨著人工智能和機(jī)器人技術(shù)的快速發(fā)展，實(shí)時三維形狀測量技術(shù)變得愈發(fā)重要。由于機(jī)器人通常在動態(tài)環(huán)境中操作，因此機(jī)器人裝備的三維形狀測量技術(shù)需要能夠?qū)崟r從運(yùn)動的物體中獲取三維形狀信息。未來的三維機(jī)器視覺技術(shù)實(shí)際上依賴于實(shí)時三維數(shù)據(jù)獲取和測量技術(shù)的發(fā)展。實(shí)時高精度的三維形狀測量技術(shù)在醫(yī)療手術(shù)、生物醫(yī)學(xué)工程、智能制造和娛樂產(chǎn)業(yè)等許多領(lǐng)域都得到了科學(xué)家和工程師的高度需求。

根據(jù)所使用的設(shè)備和工作原理，實(shí)時三維形狀測量技術(shù)可以分為三類：結(jié)構(gòu)光（SL）技術(shù)、立體視覺（SV）技術(shù)和飛行時間（TOF）技術(shù)。迄今為止，所有這些技術(shù)在學(xué)術(shù)界和商業(yè)領(lǐng)域都取得了巨大的成功。

結(jié)構(gòu)光技術(shù)已經(jīng)發(fā)明了幾十年。其中一種代表性方法是在1980年代提出的相移方法，該方法采用四個相移來計(jì)算具有解析解的相位圖。這種方法至今仍在使用，通常使用多頻率來增加其魯棒性。到目前為止，除了正弦相位圖案外，還提出了許多其他的三維形狀測量方法，并且通常為不同的圖案設(shè)計(jì)了特定的方法，使得結(jié)構(gòu)光技術(shù)變得越來越多樣化。

然而，大多數(shù)提出的一次性結(jié)構(gòu)光方法受到圖像處理的瓶頸限制。因此，基于結(jié)構(gòu)光的三維形狀測量方法仍然是學(xué)術(shù)界的研究重點(diǎn)。為了滿足實(shí)時數(shù)據(jù)獲取的需求，許多研究人員采用了高速攝像機(jī)和投影儀，并減少了投影的相位圖案數(shù)量（通常使用三個圖案），以使相移方法能夠測量動態(tài)物體。由于數(shù)據(jù)獲取速度遠(yuǎn)高于被測對象的運(yùn)動速度，因此可以使用非常有限數(shù)量的正弦圖案或二進(jìn)制圖案來魯棒地計(jì)算相位圖。由于這種類型的三維形狀測量方法投射和捕獲了多個圖案，因此它們僅限于測量具有相對緩慢運(yùn)動的動態(tài)物體。

為了消除這一限制，研究了一次性三維形狀測量方法。一個流行的方法是將三個相移圖案編碼到相機(jī)的RGB通道中。一次性彩色相位圖案被獲取后，可以通過不同的方法將其解碼為三個單獨(dú)的相移圖案。最后，采用相移輪廓測量法計(jì)算三維形狀信息。

另一種流行的一次性結(jié)構(gòu)光三維形狀測量方法是傅里葉變換輪廓測量法（FTP），該方法于1980年代首次提出。從那時起，這種方法已經(jīng)被世界各地的研究人員廣泛深入地研究。已經(jīng)提出了許多方法來改進(jìn)FTP的性能。例如，一種改進(jìn)的模型被提出，以消除投影儀和攝像機(jī)放置的幾何約束。在中，使用了交叉條紋圖案來提高FTP的分辨率。除了傅里葉變換輪廓測量法，還有小波變換輪廓測量法。在中，作者報(bào)告說小波變換輪廓測量法和窗口傅里葉變換輪廓測量法優(yōu)于傅里葉變換輪廓測量法。然而，在相位圖中的不連續(xù)性周圍，所有基于變換的方法性能都較差，需要進(jìn)一步研究。

除了上述基于相位圖案的一次性方法，還有基于點(diǎn)圖案的一次性結(jié)構(gòu)光方法、基于線圖案的一次性結(jié)構(gòu)光方法和基于交叉線圖案的一次性結(jié)構(gòu)光方法。盡管這些方法的三維形狀重建原理都基于三角測量和校準(zhǔn)，但這些方法使用的圖像處理算法卻非常多樣化。其中一些基于分割算法來提取捕獲的圖案，而另一些則基于邊緣或特征檢測算法來提取捕獲的圖案。在中，作者從扭曲的線圖案中穩(wěn)健地計(jì)算了相位圖，從而成功地建立了基于相位的結(jié)構(gòu)光方法和非相位圖案的結(jié)構(gòu)光方法之間的轉(zhuǎn)換關(guān)系。與基于相位圖案的結(jié)構(gòu)光方法相比，基于非相位圖案的結(jié)構(gòu)光方法對光干擾更加抵抗。

?? 結(jié)構(gòu)光技術(shù)

1.1
相移輪廓術(shù)

多次拍攝相移輪廓測量自上世紀(jì)80年代提出以來，在學(xué)術(shù)界和工業(yè)界一直備受歡迎。隨著高速攝像機(jī)和高速投影儀的發(fā)展，相移輪廓測量的測量速度能夠滿足實(shí)時要求。盡管在相位圖案設(shè)計(jì)、相位計(jì)算方法和相位展開算法等方面進(jìn)行了許多創(chuàng)新和改進(jìn)，但相移輪廓測量的工作原理保持不變。其工作原理如下：

設(shè)計(jì)相位圖案：首先，設(shè)計(jì)一個具有不同相位的光柵或條紋圖案，其數(shù)學(xué)表示如公式（1）所示。這些圖案通常由一臺投影儀投射到待測物體的表面上。

公式（1）中的參數(shù)解釋如下：

Ii(x, y) 表示位于設(shè)計(jì)相位圖案中位置 (x, y) 處的光強(qiáng)度。

I0 是一個常數(shù)。

u 是設(shè)計(jì)的相位，通常以 2πfx 表示，其中 f 是相位圖案的頻率。

ai 是第 i 個相位圖案的偏移值。

N 是偏移的相位圖案總數(shù)。

(x, y) 表示設(shè)計(jì)相位圖案中的位置，其分辨率為 X x Y。

拍攝圖像：一臺高速攝像機(jī)捕獲了被投射圖案照射后的物體圖像，每幅圖像對應(yīng)一個不同相位的圖案。

相位計(jì)算：通過分析這些圖像中的光柵或條紋的扭曲，可以計(jì)算出物體表面的相位信息。這通常需要使用一系列的相移圖像，并且可以使用分析方法來計(jì)算每個像素點(diǎn)的相位值。

三維形狀重建：通過已知的相位信息，可以進(jìn)行三維形狀的重建，得到物體表面的三維坐標(biāo)信息。

1.2
一次相移輪廓測量

它設(shè)計(jì)了三種移位相位圖案，分別在彩色圖像的R通道、G通道和B通道中。

這個組合的彩色相移圖案通過一次投射到物體上，并由彩色視頻攝像機(jī)進(jìn)行采集。在R通道、G通道和B通道中捕獲的三個相位失真圖案（如圖4(b)所示）然后計(jì)算失真相位圖。最后，如果設(shè)計(jì)的相位圖案使用了高頻率，就需要進(jìn)行相位展開。據(jù)報(bào)道，這種方法可以達(dá)到約0.5毫米的測量精度。大多數(shù)參考文獻(xiàn)沒有提供定量的測量精度。

1.3
傅里葉變換輪廓測量法

所設(shè)計(jì)的相位圖由傅里葉級數(shù)表示:

將所設(shè)計(jì)的相位圖投影到被測物體上后，CCD相機(jī)觀測到的變形相位圖可表示為:

在參考平面上，可以寫出相圖為:

在頻率域中，使用以f0為中心的帶通濾波器來選擇n = 1的基本分量。然后通過反傅里葉變換來計(jì)算受形變影響的相位圖案的基本分量。

然后，通過反向傅里葉變換來計(jì)算受形變影響的相位圖案的基本分量。

結(jié)合以上兩個公式可得：

這一部分介紹了基于傅里葉變換的三維形狀測量方法，其中涉及了不同的技術(shù)變種?；驹硎鞘褂孟嘁颇Ｊ交驈?fù)合模式創(chuàng)建相位圖案，然后通過傅里葉變換從捕獲的圖像中提取扭曲的相位信息。

1.4
基于點(diǎn)圖案的單鏡頭方法

這種類型的方法基于點(diǎn)陣圖案，用于解決相機(jī)和投影儀之間的對應(yīng)問題。根據(jù)點(diǎn)圖案的設(shè)計(jì)方法，提出并使用了不同的圖像處理方法來分割點(diǎn)或提取特征點(diǎn)。具有足夠多點(diǎn)的情況下，可以穩(wěn)健地測量對象的三維形狀。文章提到了一些典型的設(shè)計(jì)點(diǎn)圖案，圖中展示了不同方法中設(shè)計(jì)的標(biāo)記的形狀，盡管它們的形狀不同，但其原理相似，一個設(shè)計(jì)的標(biāo)記對應(yīng)一個單一點(diǎn)。深度是通過相機(jī)和投影儀之間的點(diǎn)到點(diǎn)三角測量來計(jì)算的。根據(jù)不同的設(shè)計(jì)點(diǎn)圖案，提出了不同的圖像處理算法來計(jì)算點(diǎn)的位置。圖像處理的準(zhǔn)確性在很大程度上決定了測量精度。

1.5
基于線圖案的單鏡頭方法

與基于點(diǎn)圖的方法類似：

1.6
基于交叉線的單鏡頭方法

是一種利用一組交叉線或交叉條紋來解決相機(jī)和投影儀之間的對應(yīng)問題的方法。通常情況下，交叉線圖案的水平線和垂直線采用不同的顏色以便更容易進(jìn)行線的識別。這些圖案中，相同顏色的線都是平行排列的。深度是通過對相機(jī)和投影儀之間的水平線和垂直線進(jìn)行三角測量來計(jì)算的。

1.7
光編碼方法

光編碼方法代表了結(jié)構(gòu)光技術(shù)的進(jìn)化。它不再使用精心設(shè)計(jì)的結(jié)構(gòu)光圖案，而是利用隨機(jī)斑點(diǎn)來通過攝像機(jī)和斑點(diǎn)投影儀之間的三角測量來計(jì)算深度。通過三角測量的深度計(jì)算原理涉及到基線長度（b）、參考平面距離（Z0）、紅外攝像機(jī)的焦距（f）以及攝像機(jī)坐標(biāo)中觀察到的視差（d）等參數(shù)。這些參數(shù)通過校準(zhǔn)來確定，深度（Zk）則通過以下公式計(jì)算：

當(dāng)激光束投射到漫反射表面上時，會隨機(jī)形成衍射斑點(diǎn)。這些斑點(diǎn)具有高度隨機(jī)性，并且隨著距離的變化而改變模式。斑點(diǎn)圖案的生成取決于激光光線的波長、激光束的大小以及漫反射表面與觀察平面之間的距離等因素。

由于斑點(diǎn)圖案具有高度隨機(jī)性，其圖像處理精度通常較低，與精心設(shè)計(jì)的圖案相比。經(jīng)過校準(zhǔn)后，最佳測量精度可達(dá)到1毫米，而其他研究報(bào)告的測量誤差較高。例如，在某項(xiàng)研究中，姿勢重建的精度為3.9厘米，而在另一項(xiàng)研究中，人體重建的精度為數(shù)厘米。在另一項(xiàng)研究中，手部姿勢恢復(fù)誤差在5毫米到25毫米之間。與其他結(jié)構(gòu)光方法相比，光編碼方法通常提供較低的測量精度，但具有經(jīng)濟(jì)實(shí)惠和多功能的優(yōu)點(diǎn)。

1.8
基于深度學(xué)習(xí)的方法

基于深度學(xué)習(xí)的結(jié)構(gòu)光方法是相對較新的發(fā)展，它利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行三維形狀測量。這些方法通過深度學(xué)習(xí)建立了扭曲相位與高度之間的非線性映射關(guān)系。這允許通過投影的相位圖案的單次拍攝進(jìn)行三維形狀測量。然而，這些方法嚴(yán)重依賴訓(xùn)練集，其準(zhǔn)確性取決于訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性。

在一些研究中，基于深度學(xué)習(xí)的結(jié)構(gòu)光方法在使用真實(shí)世界數(shù)據(jù)進(jìn)行訓(xùn)練時，實(shí)現(xiàn)了0.076%的測量精度。然而，使用模擬數(shù)據(jù)集進(jìn)行訓(xùn)練的結(jié)果導(dǎo)致了約0.7%的較低測量精度。當(dāng)使用適當(dāng)?shù)臄?shù)據(jù)集進(jìn)行良好訓(xùn)練時，基于深度學(xué)習(xí)的方法的精度潛力可以接近傳統(tǒng)結(jié)構(gòu)光方法的精度水平。

作者 |?寧瑤暴打小平安

排版?|?小河

審核?| 橙橙

若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，我們將及時回應(yīng)。如果想要了解更多的前沿資訊，記得點(diǎn)贊關(guān)注哦~