基于MB-LBP人臉檢測算法

1、基于MB-LBP人臉檢測算法張倫，楚如峰，向世明，廖勝才，斯坦·李生物識別與安全技術(shù)研究中心，中國科學(xué)院自動化模式識別研究所，國家重點實驗室摘要通過使用基于AdaBoost學(xué)習(xí)算法的矩陣Haar-like特征方法，有效和實時臉部檢測已經(jīng)成為可能。在本文中，我們介紹了一組新的獨特的人臉檢測矩陣特征方法，稱為多塊局部二值模式（MB-LBP）。通過局部二進(jìn)制模式操作，MB-LBP將矩陣區(qū)域編碼成強(qiáng)度，得到的二值模式可以描述圖像的多種局部結(jié)構(gòu)?；贛B-LBP特征，研究出了一種基于AdaBoost學(xué)習(xí)算法的人臉檢測方法。為了處理MB-LBP特征的非度量特征值，算法采用多分支回歸樹作為弱分類。

2、實驗表明，基于MB-LBP弱分類比Haar特征和原始LBP特征更加有區(qū)別度。鑒于相同的許多特征，在一個給定的0.001誤報率下，所提出的人臉檢測比haar-like特征高15的正確率，比原始LBP特征高8的正確率。這表明，MB-LBP特征可以捕獲更多的圖像結(jié)構(gòu)信息，同時在簡單地測量矩陣之間的差異下，比傳統(tǒng)haar-like特征有更突出的性能。MB-LBP特征的另一優(yōu)點是其較小的特征集，這使得訓(xùn)練時間要少得多。1引言人臉檢測具有廣泛的應(yīng)用，例如自動人臉識別，人機(jī)交互，監(jiān)控等。在最近幾年，出現(xiàn)了基于臉部外觀檢測方案一個實質(zhì)性的進(jìn)展。這些方法解決的人臉檢測作為兩類（人臉/非人臉）的分類的問題。由于人

3、臉外觀，光照，表情和其它因素的變化，具有良好的性能的人臉/非人臉分類器應(yīng)該是非常復(fù)雜的。用于構(gòu)造人臉/非人臉分類的最有效的方法是基于學(xué)習(xí)的方法。例如，基于神經(jīng)網(wǎng)絡(luò)的方法，支持向量機(jī)制等。 最近，由Viola和Jones提出的基于Boosting算法的檢測被認(rèn)為是在人臉檢測的研究的一個突破。實時性能是通過學(xué)習(xí)一個簡單的Haar-like矩陣特征的序列來實現(xiàn)。Haar-like特征編碼在兩個矩陣區(qū)域之間的平均強(qiáng)度的差異，并且可以迅速地通過積分圖像進(jìn)行計算。完整的Haar-like特征集大且包含冗余信息的質(zhì)量。Boosting算法被引入到選擇少數(shù)獨特的矩陣特征，構(gòu)建一個功能強(qiáng)大的分類器。此外，使用級

4、聯(lián)結(jié)構(gòu)進(jìn)一步加快的計算。李等人用一系列擴(kuò)展的Haar特征多視圖人臉，并改進(jìn)的Boosting算法。但是，這些Haar-like矩陣特征顯得過于簡單，并且檢測器通常含有成千上萬的矩陣特征影響了相當(dāng)大的性能。大量的選擇特征，無論是在訓(xùn)練和測試階段，導(dǎo)致了較高的計算成本。特別是，在級聯(lián)的后期階段，基于這些特征的弱分類器變得太弱以至于無法提高分類性能。提出了其他許多功能來代表面部圖像，包括旋轉(zhuǎn)Haar-like特征，人口普查變換，稀疏特征等。 在本文中，我們提出了一個新的獨特的特征，被稱為多塊局部二進(jìn)制模式（MB-LBP）特征，用來表示人臉圖像。 MB-LBP的基本思想是通過局部二元模式操作器進(jìn)行編碼

5、的矩形區(qū)域。MB-LBP特征也可以通過積分圖像迅速計算，相比Harr-like特征而言，MB-LBP特征能夠捕獲更多的圖像結(jié)構(gòu)信息，并表現(xiàn)出更鮮明的性能。與局部二元模式相比，在像素之間的局部3×3的鄰域計算方面，MB-LBP特征可以捕捉大尺度結(jié)構(gòu)，這些結(jié)構(gòu)可能是圖像結(jié)構(gòu)的主要特征。我們直接使用原始LBP算的輸出作為特征值。但一個問題是，該值僅僅是一個用于表示二進(jìn)制字符串符號。對于這種非十進(jìn)制特征值，多分支回歸樹被設(shè)計為弱分類器。我們實現(xiàn)的特征選擇和分類解釋的Gentle Adaboost算法。然后建造一個級聯(lián)探測器。MB-LBP的另一優(yōu)點是詳盡組MB-LBP特征的數(shù)量比Haar-li

6、ke特征小得多（尺寸為20×20的子窗口Haar-like特征的約1/20）?；贐oosting算法方法用Adaboost算法，從較大的、完整的特征集合中選擇出一個明顯的特征集合。這個過程往往花費很多時間，甚至數(shù)周。MB-LBP的較小的特征集合可以讓這個過程更加簡單。本文的其余部分安排如下。第2節(jié)介紹了MB-LBP特征。在第3節(jié)中，講述了基于AdaBoost學(xué)習(xí)算法的特征以及分類解釋。級聯(lián)探測器也在本節(jié)所述。實驗結(jié)果在第4給出第5節(jié)總結(jié)本文。2多塊局部二元模式特征 傳統(tǒng)Haar-like矩陣特征測量矩形區(qū)域（參見圖1）的平均強(qiáng)度之差。例如，一個雙矩形濾波器的值是兩個矩形區(qū)域內(nèi)的像素

7、的總和之間的差。如果我們改變的位置，大小，形狀和矩形區(qū)域的布置中，Haar-like特征可以捕獲在不同的位置，空間頻率和方向的強(qiáng)度梯度。 Viola和 Jones采用3種這些特征用于檢測正面人臉。通過使用積分圖像，任何矩形濾波器類型，在任何規(guī)?；蛭恢?，可以在固定的時間進(jìn)行評估。然而，Haar特征顯得過于簡單，顯示出一定的局限性。(圖1)傳統(tǒng)的Haar特征這些特性測量矩形區(qū)域的平均強(qiáng)度之間的差異(圖2)多塊LBP特征的圖像表示如該圖所示，MB-LBP特征通過局部二進(jìn)制模式進(jìn)行編碼的矩形區(qū)域的強(qiáng)度。由此產(chǎn)生的二進(jìn)制模式可以描述不同的圖像結(jié)構(gòu)。與像素之間的局部3×3的鄰域計算原局部二元模式

8、相比，MB-LBP可以捕捉大尺度結(jié)構(gòu)。 在本文中，我們提出了一個新的獨特的矩陣特征，稱為多塊局部二元模式（MB-LBP）特征。 MB-LBP的基本思想是，在Haar-like特征的簡單差規(guī)則被改變?yōu)橥ㄟ^局部二元模式操作者進(jìn)行編碼的矩形區(qū)域。原始LBP算法，由Ojala提出，通過閾值與中心像素的值的3×3鄰域象素值對于每個像素定義。來編碼的矩陣，所述MB-LBP算由中央矩形平均強(qiáng)度G c。與那些其附近的矩形g0，.，g8的比較來定義。通過這種方式，它可以給我們一個二進(jìn)制序列?？梢匀缦碌玫降腗B-LBP算的輸出值：其中g(shù)c是中心矩形的平均強(qiáng)度，gi（i =0，.，8）是那些其附近的矩陣，

9、這樣的MB-LBP算的更詳細(xì)的說明可以在圖2中找到。 我們直接使用生成的二進(jìn)制模式為MB-LBP特征的特征值。這樣的二進(jìn)制圖案可以檢測多種圖象結(jié)構(gòu)，例如邊緣，線，斑點，平坦區(qū)域和角落，在不同的尺度和位置。局部二進(jìn)制與像素之間的局部3×3的鄰域計算最初的局部二元模式相比，MB-LBP可以捕捉可能是圖像的主要特征大規(guī)模的結(jié)構(gòu)?？傮w上，我們可以得到256種二進(jìn)制模式，其中一些可以在圖3中發(fā)現(xiàn)，在4.1節(jié)中，我們進(jìn)行一項實驗，用來評估MB-LBP特征。實驗結(jié)果表明，MB-LBP功能比Haar特征和最初的原始LBP特征更加鮮明。圖3、MB-LBP特征值隨機(jī)選擇的子集。 MB-LBP的另一優(yōu)點是

10、MB-LBP特征的詳盡的數(shù)量集合（以不同比例，位置和縱橫比的矩形）比Haar-lke特征小得多。鑒于20×20子窗口的大小，總共有2049 MB-LBP特征，這一數(shù)額大約1/20的Haar特征（45891）。人們通常使用Adaboost算法，從全部的特征的集合中選擇出顯著的特征，構(gòu)建二元分類。由于大量的Haar-like特征集合，訓(xùn)練過程通常花費太多的時間。少量的MB-LBP特征集合使得特征選擇的實施顯著容易。它應(yīng)當(dāng)強(qiáng)調(diào)的是的MB-LBP特征值為非十進(jìn)制。原始LBP操作器的輸出僅僅是代表二進(jìn)制串的符號。在下一節(jié)中，我們將介紹如何設(shè)計基于MB-LBP特征的弱分類，并應(yīng)用Adaboost

11、算法選擇顯著的特點，構(gòu)建分類。3特征選擇和分類器構(gòu)造 盡管MB-LBP特征的特征集比Haar特征小得多，它也含有大量的冗余信息。在AdaBoost算法被用來選擇顯著功能和構(gòu)造的二元分類器。這里，AdaBoost算法被采用以解決在一以下三個基本問題提升程序：（1）學(xué)習(xí)有效特征從大的功能集，（2）構(gòu)建弱分類器，其中每一個是基于所選擇的特征之一，（3 ）提升弱分類成強(qiáng)分類。3.1 AdaBoost的學(xué)習(xí)我們選擇使用 Boosting算法中的Gentle Adaboost算法，由于它是簡單的實現(xiàn)和數(shù)值魯棒性的版本。給定一組的訓(xùn)練實例如（X 1，Y1），.，（X N，Y N)，其中Y I+ 1，-1是該

12、例子的類標(biāo)號X IR N。推進(jìn)學(xué)習(xí)提供了一個連續(xù)的過程，以適應(yīng)形式的加模型,這里的通常被稱為弱學(xué)習(xí)，和F（x）時稱為強(qiáng)學(xué)習(xí)者。Gentle Adaboost算法使用最小化成本函數(shù)自適應(yīng)牛頓步驟：,其對應(yīng)于在每一步最小化的加權(quán)平方誤差。1、 從權(quán)重開始 2、 重復(fù)(a) 用加權(quán)最小二乘法擬合出回歸函數(shù)。(b) 更新(c) 更新并歸一化3、輸出分類表1、Gentle AdaBoost算法在每個步驟中，弱分類的選擇，以最小化的加權(quán)平方誤差：3.2弱分類 這是常見的定義弱學(xué)習(xí)者的是最佳的閾值分類功能，它通常被稱為一個樹樁。然而，它在第2部分中表明的MB-LBP特征值為非十進(jìn)制。因此，它不可能使用基于閾

13、值的功能作為弱學(xué)習(xí)。 在這里，我們描述了如何設(shè)計弱分類器。對于每個MB-LBP特征，我們采用多分支樹作為弱分類器。多支樹共256個分支，每個分支反映了離散的MB-LBP特征。弱分類可以被定義為：其中，表示特征矢量x的第k個元素，并且中，j=0，.，255，要了解到回歸參數(shù)。這些薄弱的學(xué)習(xí)者通常被稱為決定或回歸樹。我們能找到的最好的基于樹的弱分類（參數(shù)k，第j用最小平方加權(quán)誤差惡趣。（2），就像我們會學(xué)會在一個節(jié)點。惡趣回歸tree.The最小化（2）給出了以下參數(shù)：由于每個弱學(xué)習(xí)取決于單一特征，一個特征是在每個step.In測試階段選擇，給定一個MB-LBP特性，我們可以通過這樣的多分支樹快速

14、得到相應(yīng)的回歸值。這個功能類似于查找表（LUT）弱分類為類Haar特征，所不同的是，LUT的分類給出實值域的分區(qū)。4實驗 在本節(jié)中，我們進(jìn)行了兩個實驗，以評估建議的方法。 （1）比較MB-LBP特征與Haar特征和原始LBP特征。（2）評估對CMU+ MIT人臉數(shù)據(jù)庫所提出的檢測器。 總共10,000面部圖像是從不同的來源收集，覆蓋在-30，30的范圍外的平面和在計劃的旋轉(zhuǎn)。對于每一個對準(zhǔn)的面的例子，是由以下的隨機(jī)變換產(chǎn)生4合成面的例子：鏡像，隨機(jī)移位至+1/ -1的像素，在平面內(nèi)旋轉(zhuǎn)15度之內(nèi)，20的變化內(nèi)結(jié)垢。那么面對例子進(jìn)行裁剪和重新調(diào)整為20×20像素。完全，我們得到了一組4

15、0000臉上例子。超過20000不包含臉部放大圖用于收集非面部樣本。4.1特征比較在這一節(jié)中，我們比較MB-LBP特征與Haar-like矩陣特征和原始LBP特征的性能。在實驗中，我們使用26000臉樣本，并將它們隨機(jī)分至兩個同樣部分，一個用于訓(xùn)練，另一個用于檢測。非面部樣本被隨機(jī)地從其中不包含臉部放大圖收集。我們的訓(xùn)練集包含13000臉樣本13,000非面部樣本，并且測試集包含13000臉樣本和50,000個非人臉樣本。基于AdaBoost的學(xué)習(xí)框架，三Boosting分類器的訓(xùn)練。他們每個人都包含所選的50 Haar特征，傳統(tǒng)的原始LBP特點和MB-LBP功能，分別為。然后，他們在測試集評

16、估。圖4（a）示出了錯誤率（平均的誤報率和錯誤拒絕率），為的訓(xùn)練過程中所選擇的特征的數(shù)量的函數(shù)的曲線。我們可以看到對應(yīng)于MB-LBP特征具有最低誤差率的曲線。這表明帽子基于MB-LBP特征的弱分類比較判別。三個分類子測試集可以在圖4中找到（二）。它表明在給定的誤報率在0.001，分類器根據(jù)MB-LBP的ROC曲線設(shè)有怎么樣了15的較高正確率(圖4)與MB-LBP特征比較結(jié)果，Haar-like特征和原始LBP特征。(a)中的曲線表示了錯誤率的在訓(xùn)練過程中所選擇的特征數(shù)。(b)中ROC曲線顯示了在測試集合中的三個分類分類器性能。比原始LBP功能提高8。上述所有顯示獨特的MB-LBP功能。這主要是

17、由于對MB-LBP特征可以捕獲關(guān)于圖像的結(jié)構(gòu)的詳細(xì)信息。4.2 CMU+ MIT面集實驗結(jié)果我們基于MB-LBP特征訓(xùn)練了一個級聯(lián)人臉檢測器，并在MIT+ CMU的廣泛用于評估人臉檢測算法性能的數(shù)據(jù)庫中測試了它。這組由標(biāo)記了507個正面人臉的130張圖片，用于訓(xùn)練面部檢測器，所有收集的使用40000臉樣本，引導(dǎo)策略也用于重新收集非人臉樣本。我們訓(xùn)練有素檢測器具有9層，包括470 MB-LBP 特征，與Viola的級聯(lián)檢測器具有32層和4297層特征相比，我們的MB-LBP特征更有效。從結(jié)果來看，我們可以看到，我們的方法在更少的特征上得到了相當(dāng)?shù)男阅堋Ｎ覀儗σ粡?20×240圖象檢測器的處理時間小于0.1秒一個P4 3.0GHz的PC機(jī)上。錯誤率61021315778136167293422MP-LBP80.1%85.6%90.7%91.9%93.5%LBP78.3%85.2%90.1%91.8%93.7%表2、在MIT+CMU實驗結(jié)果集。圖5、在MIT+CMU一些檢測結(jié)果集5。結(jié)論 在本文中，我們提出了多塊局部二元模式（MB-LBP）作為描述人臉檢測功能?；谥ζ鲗崿F(xiàn)。旨在的MB-LBP特征的非十進(jìn)制特征值，多分支回歸樹適于構(gòu)造弱分類。首先，這些功能可以捕獲大約比傳統(tǒng)Haar特征圖像結(jié)構(gòu)更的詳細(xì)信息，