三維立體視覺(jué)的提取

1、三維立體視覺(jué)信息的提取一、問(wèn)題背景 TOC o 1-5 h z 實(shí)現(xiàn)方法1圖像的獲取與預(yù)處理1邊緣信息提取2邊緣檢測(cè)與輪廓連結(jié)3利用線條分類識(shí)別三維物體4從二維圖像中提取三維特征的局限性6一、問(wèn)題背景機(jī)器視覺(jué)是機(jī)器人感知周圍環(huán)境的主要途徑之一。所謂機(jī)器人視覺(jué)即：使機(jī)器人具有視覺(jué)感知功能的系統(tǒng)。機(jī)器人視覺(jué)可以通過(guò) 視覺(jué)傳感器獲取環(huán)境的二維圖像，并通過(guò)視覺(jué)處理器進(jìn)行分析和解釋，進(jìn)而轉(zhuǎn)換為 符號(hào)，讓機(jī)器人能夠辨識(shí)物體，并確定其位置。為了判斷一個(gè)物體在空間的位置和 形狀，機(jī)器人往往需要獲取兩類信息，即明暗信息和距離信息。目前成熟的光電成 像技術(shù)都只能捕獲二維明暗信息，而不能獲得距離信息，所以直接通過(guò)這

2、種途徑獲 得的機(jī)器視覺(jué)也只能是二維的。隨著科學(xué)技術(shù)的發(fā)展，三維立體視覺(jué)的解決方案也如雨后春筍般涌出，其中就 包括雙目立體視覺(jué)（多鏡頭法），狹縫光投影法，時(shí)間差法等，但是如果能夠要通 過(guò)對(duì)二維圖像（準(zhǔn)確地說(shuō)是2.5維圖像，即含有透視關(guān)系的二維圖像）的特征進(jìn)行 提取，并進(jìn)而得到三維信息的話，無(wú)疑可以大幅度降低系統(tǒng)的復(fù)雜度。本文將論述一種從二維圖像中提取三維信息的方法。這種方法對(duì)二維圖像的邊 緣進(jìn)行識(shí)別的處理，通過(guò)邊緣的連接模式判斷出視野中物體的三維特征。這種方式 輸出的輸出結(jié)果是一種與物體的三維結(jié)構(gòu)相對(duì)應(yīng)的二維特征組，后續(xù)處理也較為方 便。一、實(shí)現(xiàn)方法圖像的獲取與預(yù)處理用于進(jìn)行三維特征提取的圖像是

3、一幅常規(guī)的二維灰度圖，所以使用一個(gè)常規(guī)的 CCD或CMOS圖像傳感器即可滿足要求。圖像需要進(jìn)行量化處理，即把圖像信息分 成許多像素點(diǎn)，這些亮點(diǎn)經(jīng)過(guò)A/D轉(zhuǎn)換后即可輸入計(jì)算機(jī)進(jìn)行處理。大多數(shù)情況下，圖像傳感器獲得的圖像并不完美，其中難免會(huì)出現(xiàn)暗點(diǎn)或亮點(diǎn)。 圖像中的這些暗點(diǎn)和亮點(diǎn)統(tǒng)稱“噪點(diǎn)”。噪點(diǎn)不僅降低了圖像的分辨率，還會(huì)對(duì)后 期的特征提取等處理造成很大的干擾，甚至引起識(shí)別錯(cuò)誤。此外由于外界光線強(qiáng)度 的變化，圖像的亮度分布也時(shí)刻在變化，為了給形態(tài)學(xué)處理的圖像提供統(tǒng)一的條件， 計(jì)算機(jī)在把獲得圖像進(jìn)行形態(tài)學(xué)處理前，必須先對(duì)其進(jìn)行預(yù)處理。降噪是一種常見(jiàn)的預(yù)處理形式，與其對(duì)應(yīng)的算法成為濾波算法。常見(jiàn)的濾

4、波算 法分為線性濾波和非線性濾波，線性濾波又分為均值濾波和高斯濾波等。線性濾波 器的主要原理是二維卷積，也就是把某一像素點(diǎn)的亮度用周圍一定范圍的像素的亮 度的某種運(yùn)算組合來(lái)表示，下式就表示了一個(gè)3x3的均值濾波器的算子：非線性濾波器（如中值濾波器）雖然沒(méi)有采用卷積運(yùn)算，但它也類似的在原始 圖像中取出一個(gè)范圍，并對(duì)這個(gè)把處于這個(gè)范圍的中心的像素的亮度用這個(gè)范圍內(nèi)所有像素的亮度的某種關(guān)系表示。這些濾波器都能夠在很大程度上降低噪點(diǎn)的出現(xiàn) 頻率，為后期的形態(tài)學(xué)處理提供條件。亮度均衡化則是用來(lái)彌補(bǔ)獲取的圖像曝光錯(cuò)誤的一種方式。眾所周知，圖像如 果曝光不足會(huì)導(dǎo)致信息不明確，而曝光過(guò)度則會(huì)導(dǎo)致細(xì)節(jié)丟失，這都

5、是形態(tài)學(xué)處理 時(shí)不愿意遇到的情況。亮度均衡化算法就是統(tǒng)計(jì)一幅圖像的灰度直方圖，并對(duì)其做 一定的變換，使其曝光正確。邊緣信息提取二維圖像的信息量非常大，直接處理的難度非常大，所以我們必須從一副圖像 中提取出部分有用的信息，再對(duì)這些信息進(jìn)行處理。邊緣輪廓信息是圖像中非常重 要的一種信息，所以往往被作為形態(tài)學(xué)處理的第一步。所謂邊緣提取算法就是把一副灰度圖像轉(zhuǎn)化為二值圖像，灰度圖像中的輪廓在 二值圖像中用1表示，而非輪廓位置用0表示。邊緣提取算法的種類非常地多，機(jī) 器人技術(shù)基礎(chǔ)一書中提到的算法稱為Robert算子卷積法。Robert算子可以表示 為：把Robert算子與二維圖像卷積，可以得到圖像的梯度

6、圖。實(shí)際應(yīng)用中，Robert算 子邊緣定位準(zhǔn)，但是對(duì)噪聲敏感。適用于邊緣明顯且噪聲較少的圖像分割。Roberts 邊緣檢測(cè)算子是一種利用局部差分算子尋找邊緣的算子,Robert算子圖像處理后結(jié) 果邊緣不是很平滑。由于Robert算子通常會(huì)在圖像邊緣附近的區(qū)域內(nèi)產(chǎn)生較寬的 響應(yīng)，故采用上述算子檢測(cè)的邊緣圖像常需做細(xì)化處理，邊緣定位的精度不是很高。 圖2所示為利用Robert算子提取出的圖1邊緣的圖像（使用MATLAB處理）。圖1：圖像傳感器拍攝到的原始圖像圖2：用ROBERT算子提取邊緣的結(jié)果邊緣檢測(cè)與輪廓連結(jié)邊緣檢測(cè)方法的基本思想是先檢測(cè)圖像的邊緣點(diǎn)，再按照一定的策略連接成輪廓，從而構(gòu)成分割區(qū)

7、域。邊緣檢測(cè)主要采用各種算子來(lái)發(fā)現(xiàn)、強(qiáng)化圖像中那些可能 存在邊緣的像素點(diǎn)。邊緣檢測(cè)算子除了有Roberts算子外，還有Sobel算子和Prewitt 算子、高斯偏導(dǎo)濾波器以及Canny邊緣檢測(cè)器等。這里采用了一種簡(jiǎn)單的梯度邊緣檢測(cè)算法。首先利用Y(亮度分量)構(gòu)建256級(jí) 灰度圖像，再通過(guò)設(shè)定一閾值將該圖像化成只有0和1的二值圖像，然后根據(jù)一個(gè) 點(diǎn)與其周圍點(diǎn)的關(guān)系來(lái)判斷它是否在物體輪廓上。如下圖：O kP(i ,P(i +1,P(i , j+1)P(i +1, j+1)判斷輪廓點(diǎn)方法示意圖f(i,j) - f(i+1,j+1)圖像中有一個(gè)點(diǎn)P(i,j),灰度為f(i,j),與它相鄰的3個(gè)點(diǎn)分別為

8、P(i,j+1)、 P(i+1,j)、P(i+1,j+1)，灰度分別是 f(i,j+1) f(i+1,j) f(i+1,j+1)。這些點(diǎn) 的灰度非0即1，則該四個(gè)點(diǎn)的灰度梯度為f(i+1,j) - f(i,j+1)D(i,j)=當(dāng)Di,j) = 0時(shí)，認(rèn)為P點(diǎn)為非輪廓點(diǎn)，而當(dāng)D(i,j) = 0時(shí)，認(rèn)為P點(diǎn)為輪 廓點(diǎn)。計(jì)算機(jī)對(duì)圖像中的每一點(diǎn)均按此算法予以處理后，便可知哪些點(diǎn)在輪廓上， 哪些點(diǎn)不在輪廓上。把判斷出在輪廓上的點(diǎn)連結(jié)起來(lái)，即成為物體的輪廓。輪廓連結(jié)的一種方法如下圖所示:在數(shù)字圖像上每一像素可以和它周圍的8個(gè)像素發(fā)生聯(lián)系，如果中心點(diǎn)判定是 輪廓點(diǎn)，而8個(gè)點(diǎn)中有一個(gè)被判定也是輪廓點(diǎn)，那么

9、就把這兩個(gè)連結(jié)起來(lái)。接著再 去判斷被連結(jié)的那個(gè)點(diǎn)和它周圍8個(gè)點(diǎn)的關(guān)系，如此類推，便可將整個(gè)輪廓連結(jié)起 來(lái)。下圖為該種算法的Matlab仿真圖：(a)待分割原圖由)邊緣檢測(cè)效果圖利用線條分類識(shí)別三維物體提取出二維圖像的輪廓信息，還不足以分析出其中的三維特征，我們必須對(duì)輪廓 信息進(jìn)行進(jìn)一步的模式化處理。從輪廓中提取特征。為此，可以將線條進(jìn)行分類一種方法是將線條分成以下五種類型，我們把輪廓的連接點(diǎn)分為如圖3所示的5種 類型：圖3:五種輪廓連接點(diǎn)類型一幅二維圖像的三維特征往往使用輪廓連接點(diǎn)的拓?fù)鋱D表示，然后再把圖4中的輪廓連接點(diǎn)歸類到這五種類型下，結(jié)果如圖4所示:圖4:輪廓圖中連接點(diǎn)的分類 最后，我們?cè)诟鶕?jù)各個(gè)輪廓節(jié)點(diǎn)之間的連接關(guān)系，把圖 個(gè)拓?fù)涞男问剑?中所示的節(jié)點(diǎn)歸納成一圖5:輪廓連接點(diǎn)拓?fù)鋱D計(jì)算機(jī)中可以儲(chǔ)存有多種物體的拓?fù)鋱D模板，計(jì)算出這個(gè)拓?fù)鋱D后，程序只需 把這幅拓?fù)鋱D與內(nèi)存中的各種拓?fù)溥M(jìn)行比較，即可得知這是一個(gè)立方體的物體。二、從二維圖像中提取三維特征的局限性雖然從二維圖像中提取圖像的三維特征的算法對(duì)設(shè)備的要求低，處理的數(shù)據(jù)量 相對(duì)較小，輸出地結(jié)果也比較規(guī)整。但是這種算法也有其局限性。首先，這種機(jī)器視覺(jué)智能識(shí)別由各種邊緣組成的較有規(guī)則的物體，而對(duì)于一些 圓滑的物體，如球等的識(shí)別效果就很不理想了。其次，這種機(jī)器視覺(jué)依賴于特定的透視角度，如果機(jī)器人的視角發(fā)生變化，處 理得