人臉全景紋理圖像拼接算法

1、收稿日期:2009-12-10 修回日期:2009-12-29第28卷 第2期計(jì) 算 機(jī) 仿 真2011年2月文章編號(hào):1006-9348(201102-0276-04人臉全景紋理圖像拼接算法姚嘉梁1,2,胡 君1(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,吉林長春130033;2.中國科學(xué)院研究生院,北京100039摘要:研究人臉部位真實(shí)圖像問題,為了獲得真實(shí)感人臉三維模型,提出一種柱面人臉全景紋理圖像拼接算法。考慮到人頭部接近于一個(gè)圓柱體以及因投影方向不同直接進(jìn)行拼接會(huì)造成視覺的不一致性,采用了一種人臉特征的柱面投影方法;針對(duì)人臉紋理特征信息豐富的特點(diǎn),利用特征塊匹配法配準(zhǔn)相鄰的圖像;再

2、根據(jù)亮度直方圖均衡法消除相鄰圖像的亮度差異;并使用改進(jìn)的平滑因子實(shí)現(xiàn)圖像的平滑過渡。實(shí)驗(yàn)表明算法能夠有效地消除視覺不一致性,快速有效地生成真實(shí)感人臉全景圖像,為人臉三維建模提供參考依據(jù)。關(guān)鍵詞:人臉全景紋理圖像;無縫拼接;柱面投影;特征塊匹配;直方圖中圖分類號(hào):TP391 41 文獻(xiàn)標(biāo)識(shí)碼:BM osaic A l gorith m of Face Texture Panora m ic I mageYAO Jia-liang 1,2,HU Jun1(1.Changchun Institute o f Optics ,F i ne M echan i cs and Physics ,Ch i

3、nese A cade m y o f Sc iences ,Changchun Jili n130033,Ch i na ;2.G raduate Schoo l of Ch i nese A cademy o f Sciences ,Be iji ng 100039,Ch i na AB STRACT :In orde r to ob tai n rea listi c 3D m ode l of hu m an face ,a face texture pano ram ic i m age m osa ic algor i th m w as proposed .Consi der i

4、 ng tha t the hu m an head i s si m ilar to a cy li nder and stitching t he i m ages directl y w ill lead tounrea l resu lt ,cy li ndr ica l coord i nate projecti on is i m p l e m ented .B lock -m atch i ng m ethod is used to reg i ster the ne i ghbor i ng i m ages because o f r i ch texture infor

5、m ati on of hu m an face .A nd br i ghtness histog ram i s used to e li m i nate the br i ghtness differences bet w een adjacent i m ages .F urt her m ore ,s m oo th fac t o r is used to m erge the over l app i ng i m a ges .T he experi m ents show that th i s a l gor it hm can eli m ina te the v is

6、ua l i nconsistency e fficiently and gene ra te t he face tex ture panora m ic i m age qu i ckly ,w hich can be used i n 3D m ode li ng o f real hu m an face .K EY W ORDS :Face texture pano ra m ic i m age ;Sea m less stitchi ng ;Cy li ndrical coordi nate pro jecti on ;B l ock m atc h i ng ;H istog

7、ram1 引言在人類的交流過程中最重要的手段應(yīng)該是語言,再接下來就是人類的肢體語言,而在肢體語言中最重要的表達(dá)部位應(yīng)該就是人臉,人臉表面具有高度復(fù)雜的幾何形狀和十分豐富的紋理信息,正因?yàn)槿绱搜芯咳四樈Ｓ兄涮厥獾囊饬x。自古以來人們就開始尋找人臉的建模方法,中國的壁畫,浮雕;外國的素描,雕塑。人們所追求的是多方位的表達(dá)手法,但受限于人類的認(rèn)識(shí),這些建模方法都只局限于二維表達(dá),并不能全面的表達(dá)出人臉的信息。但隨著人類對(duì)空間的認(rèn)識(shí)以及計(jì)算機(jī)技術(shù)的出現(xiàn)和發(fā)展,讓人臉三維建模成為了現(xiàn)實(shí),并成為計(jì)算機(jī)圖形學(xué)領(lǐng)域的一個(gè)重要分支,出現(xiàn)了基于激光掃描的三維建模、基于曲線曲面的三維建模等方法1,其中基于圖像的三

8、維人臉建模技術(shù)是一種比較經(jīng)濟(jì)可行的建模方法:一般要經(jīng)過人臉特征信息提取、個(gè)性化人臉模型建立和紋理合成與紋理映射三個(gè)步驟。人臉全景紋理圖像的拼接是人臉三維建模中的一個(gè)重要的環(huán)節(jié),其拼接效果直接影響到建模結(jié)果的真實(shí)感。人臉全景紋理圖像拼接既有一般的圖像拼接的特點(diǎn)又有其特殊的地方。傳統(tǒng)的人臉全景紋理圖像的拼接方法,著重考慮如何配準(zhǔn)拼接相鄰的重疊圖像,而沒用考慮到從不同方向拍攝得到的圖像直接進(jìn)行拼接獲得的全景圖像存在著較嚴(yán)重的圖像扭曲,本文充分地分析了造成這種缺陷的原因,提出了基于柱面投影的人臉 全景紋理圖像的拼接方法,并通過對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比,證明該方法是可行的。另一方面圖像配準(zhǔn)是所有圖像拼接都要涉

9、及到的一項(xiàng)重要步驟,主要有比值匹配法和特征塊匹配法兩大類,考慮到人臉紋理信息豐富,對(duì)應(yīng)的邊緣信息和特征點(diǎn)信息也十分豐富,本文采用了特征塊匹配法,實(shí)驗(yàn)表明應(yīng)用該方法可以快速的配準(zhǔn)相鄰的圖像;再應(yīng)用亮度直方圖均衡法消除相鄰圖像的亮度差異;并使用改進(jìn)加權(quán)因子的漸進(jìn)漸入方法實(shí)現(xiàn)圖像的平滑過渡獲得人臉柱面全景紋理圖像。2 人臉圖像拼接基本原理傳統(tǒng)的基于正側(cè)面兩幅圖像出發(fā)的合成紋理圖像的方法雖然算法簡單,但人臉的許多特征及紋理信息并不能在正面和側(cè)面照片中表達(dá)出來,并且由于受光照以及拍攝角度的影響獲得的紋理圖像無法滿足視覺一致性的要求。針對(duì)這兩個(gè)問題本文提出兩方面的改進(jìn)。 1多角度拍攝。對(duì)于生成周圍景物的全

10、景圖像,其素材是通過以鏡頭為軸轉(zhuǎn)動(dòng)一周連續(xù)拍攝獲得的2,3,但不能用這種方式來拍攝人臉。拍攝景物是視點(diǎn)不變、拍攝方向改變、拍攝目標(biāo)變動(dòng),拍攝人臉是視點(diǎn)變動(dòng)、拍攝方向改變、拍攝目標(biāo)不變,這兩種拍攝方式有著本質(zhì)上的區(qū)別。人臉圖像的拍攝方式如圖1所示,以人頭部為中心軸繞著軸轉(zhuǎn)動(dòng)一周多角度連續(xù)拍攝,拍攝過程中要求鏡頭要對(duì)準(zhǔn)人頭部并且要求獲得的相鄰圖像邊界有一定程度的重疊。 圖1 拍攝方式2人臉柱面投影。由于圖像系列是在不同的方向上的二維投影得到的,從圖2中可以看出同一段弧A B 在相鄰的兩張圖像上投影CD 與EF 長度是不同的,這就使得同一部分紋理在不同投影圖像上不一致,從而無法滿足視覺的一致性,給拼

11、接帶來困難,因此需要將待拼接的圖像投影到一個(gè)標(biāo)準(zhǔn)坐標(biāo)空間上,再進(jìn)行拼接?？紤]到人頭部輪廓近似于一個(gè)圓柱體以及柱面坐標(biāo)變換比較簡單并且投影圖像與其投影到圓柱表面的位置無關(guān),所以選取柱面坐標(biāo)為標(biāo)準(zhǔn)坐標(biāo)空間,實(shí)驗(yàn)證明用其描述的柱面人臉全景圖像可以在水平方向上滿足360 環(huán)視,較好的滿足視覺一致性的要求2。圖2 視覺不一致性3 人臉圖像拼接關(guān)鍵算法3.1 柱面投影柱面投影就是將圖像投影到柱面坐標(biāo)上,以滿足視覺一致性的要求。由于拍攝方式的不同,所以本文采用的柱面投影方法得到的計(jì)算公式也不同于文獻(xiàn)3給出的公式。如圖3所示,O 為觀測(cè)點(diǎn)(拍攝點(diǎn),K 為投影柱面,I 為待投影的人臉圖像,II 為I 的柱面投影

12、圖像。并使O 點(diǎn)在I 以及II 上的投影落在圖像的中心點(diǎn)P處。圖3 柱面投影由于人臉圖像是以像素為基本單位,不同于一般的空間距離單位,這樣在計(jì)算中就存在著度量單位的不統(tǒng)一的問題,為了避免相互轉(zhuǎn)化帶來的不便,該算法統(tǒng)一選取像素作為基本度量單位。為了計(jì)算的方便,取I 以及II 的中心位置P 作為像素原點(diǎn)。圖3(a過O 點(diǎn)取水平截面得到圖3(b。其中圖像的寬度為W,高度為H,焦距為F,而圓形的半徑的取值問題,根據(jù)中國成人人體頭面部尺寸男女統(tǒng)計(jì)信息:頭圍561mm-546mm;頭最大長度184mm-176mm;頭最大寬度154mm-149mm4。綜合考慮男女的頭部尺寸取圓柱半徑R=85mm 來進(jìn)行計(jì)算

13、。再進(jìn)行度量單位的統(tǒng)一處理得焦距為f,圓柱半徑為r。其中M(x,0為截面上圖像中任意一點(diǎn),M!(x!,0為對(duì)應(yīng)的柱面投影點(diǎn)。由三角關(guān)系可得: =arctan xfAD=(f+rsin =(f+rx f2+x2 =a rcsin ADAM!=arcsi n(f+rxr f2+x2= - =arcsi n(f+rxr f2+x2-arctanxf(1其中x的取值范圍為-W/2,W/2。在投影面上以弧長作為投影圖像上的水平坐標(biāo),則其對(duì)應(yīng)的公式:x!=r(2 OMN截面如圖3(c所示,N(x,y為OMN截面上待拼接圖像中任意一點(diǎn),N (x!,y!為對(duì)應(yīng)的投影點(diǎn)。可得如下關(guān)系式:y! y =O M! O

14、MOM=f2+x2OM!=OD-DM!=(f+rff2+x2-r2 -x2(f+r2f2+x2(3柱面投影公式:x!=r(arcs i n(f+rxr f2+x2-arc tanxfy!=yf(f+r-y r2f2-x2f2-2x2frf2+x2(4在這里面要求拍攝點(diǎn)O與圖像邊界點(diǎn)B的延長線一定要與投影柱面相割或者相切,也就是說拍攝的廣角BOC不能過大,主要的目的在于防止角度過大造成邊界部分投影模糊化。3.2 圖像配準(zhǔn)人臉紋理信息豐富,對(duì)應(yīng)的邊緣信息和特征點(diǎn)信息也十分豐富,為準(zhǔn)確的進(jìn)行圖像配準(zhǔn)提供很好的條件。首先,應(yīng)用邊緣信息進(jìn)行特征塊與搜索塊的選取。在待拼接的兩幅圖像上初步劃分出待拼接帶(如

15、圖4所示:圖像1的右側(cè)1/4部分,圖像2的左側(cè)1/4部分,并在拼接帶上尋找一系列特征點(diǎn)。特征點(diǎn)的選擇方面上,使用sobe l算子對(duì)兩塊拼接帶圖像進(jìn)行邊緣檢測(cè),再進(jìn)行閾值處理得到二值邊緣圖E(i,j以及F(i,j,然后以圖像中每個(gè)像素點(diǎn)的領(lǐng)域邊緣量(N EA來定義此位置的邊緣信息大小4:NEA1(i,j=#a m=-a#a n=-a E(i+m,j+nNEA2(i,j=#a m=-a#a n=-a F(i+m,j+n(5其中a為在點(diǎn)(i,j處所取領(lǐng)域的1/2長度。以N EA值為依 據(jù),分別找出圖像1中值最大的點(diǎn)(點(diǎn)*以及圖像2中前H個(gè)值最大的點(diǎn)如圖4所示。以圖像1中的點(diǎn)*為中心,取一大小適中(x

16、方向長度為e,y方向的長度為c,一般取e=c的塊作為特征塊w。分別以圖像2中選取的H個(gè)點(diǎn)為中心,以x方向長度為e!,y方向的長度為c!的范圍空間作為配準(zhǔn)的搜索區(qū)域,其中e!>e,c!>c。圖4 圖像配準(zhǔn)示意圖在確定了特征塊以及搜索區(qū)域之后,就要確定配準(zhǔn)準(zhǔn)則。本算法采用R ichard Sze li sk i方法,以重疊部分的像素值的平方和為標(biāo)準(zhǔn)來衡量是否配準(zhǔn)。公式如下:E=#e/2i=-e/2#c/2j=-c/2w(i,j-s(i,j2(6其中w為圖像1中選取的特征塊,s為搜索塊。搜索的過程相當(dāng)于特征塊w在搜索區(qū)域內(nèi)進(jìn)行滑動(dòng),最佳匹配塊為E值最小的時(shí)候所對(duì)應(yīng)的搜索塊。從而確定待拼接

17、圖像的相對(duì)位置。該算法可以通過調(diào)節(jié)所取特征點(diǎn)數(shù)H以及搜索區(qū)域大小e!和c!來控制計(jì)算量以及調(diào)節(jié)配對(duì)的成功率。在保證配準(zhǔn)成功的情況下使圖像的配準(zhǔn)時(shí)間達(dá)到很短。3.3 圖像融合在理想的情況下同一物體在相同的環(huán)境下應(yīng)該具有相同的亮度,但由于拍攝角度的變動(dòng)以及光源的變換就會(huì)造成同一物體在相鄰兩幅圖片上存在較大的亮度差異,針對(duì)亮度不一致所造成拼接區(qū)域有明顯的拼接痕跡的問題,提出了一種亮度直方圖校正的處理方法:1首先從24位的RGB圖像中得到H SL顏色空間的L分量(亮度分量。2確定相鄰圖像的重疊區(qū)域,要求像素個(gè)數(shù)要一致。3分別計(jì)算左右兩邊重疊區(qū)域的L分量的數(shù)值和s1與s2。4權(quán)值p=s1/s2,將右邊圖

18、像的每一個(gè)像素的L分量乘于權(quán)值p,這樣就保證了相鄰兩幅圖像的亮度的統(tǒng)一,為重疊區(qū)域的后續(xù)拼接更加平滑提供條件。在不同光照條件下,除了會(huì)造成相鄰圖像的亮度差異之外也可能造成色度空間上的一定微小差異,所以在兩張相鄰 圖像亮度統(tǒng)一之后,綜合考慮算法的復(fù)雜性以及拼接的效果,本算法采用了一種改進(jìn)加權(quán)因子的漸進(jìn)漸入的方法6。拼接后人臉圖像重疊區(qū)域的像素值i m age3如式(7所示,其中i m age1,i m ag e2分別表示拼接帶左側(cè)圖像與右側(cè)圖像重疊區(qū)域中對(duì)應(yīng)點(diǎn)的像素值。i m age 3=(1-k *i m age 1+k *i mag e 2(7 圖5 加權(quán)因子傳統(tǒng)的拼接方法中加權(quán)因子k 的變

19、換如圖5(a,k 從0到1線性遞增,由于加權(quán)因子k 的一階導(dǎo)數(shù)不連續(xù)性使得采用該方法拼接得到的圖像在拼接帶的兩端會(huì)發(fā)現(xiàn)有輕微的突變效果。為了使的拼接的圖像更加的平滑過渡,有必要對(duì)拼接加權(quán)因子進(jìn)行改進(jìn),改進(jìn)式如式(8,對(duì)應(yīng)函數(shù)圖像如圖5(b,改進(jìn)后的加權(quán)因子在全區(qū)域內(nèi)是一階導(dǎo)數(shù)連續(xù)的,這就可以消除拼接帶兩端突變的現(xiàn)象。k =(x +122x -1,0-(x +122+1x 0,1(8清晰度與平滑度是相互矛盾的,應(yīng)用亮度直方圖均衡法及改進(jìn)加權(quán)因子的漸進(jìn)漸入拼接方法可以在一定程度上兼顧這兩方面,消除拼接痕跡。4 實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)中使用的人臉圖像系列是采用佳能A 570IS 數(shù)碼相機(jī)在室內(nèi)日光燈照射等焦距

20、的條件下依照?qǐng)D1所示的方式拍攝得到的,相鄰圖像之間的重疊區(qū)域在15%左右。圖6(a為系列圖像中的其中一張,圖6(b為其對(duì)應(yīng)的柱面投影圖像,圖6(e給出了由連續(xù)5幅圖像拼接得到的人臉紋理全景圖。從試驗(yàn)結(jié)果可以看出相鄰的圖像之間過渡自然,拼接良好,沒用明顯的拼接痕跡,較好地滿足了視覺一致性的要求。相鄰的圖像中同一物體由于拍攝角度的不同,存在著視覺不一致的現(xiàn)象。圖6(d是直接拼接相鄰兩幅圖像得到的結(jié)果,發(fā)現(xiàn)由于視覺的不一致性致使拼接處圖像出現(xiàn)部分對(duì)齊,部分錯(cuò)開的現(xiàn)象。對(duì)比圖6(c是采用本文提出的柱面投影方法進(jìn)行處理得到的結(jié)果,實(shí)驗(yàn)表明經(jīng)過了柱面投影處理可以一定程度上消除視覺的不一致性。另一方面在紋理

21、豐富的區(qū)域例如人臉正面部分可以快速精準(zhǔn)的進(jìn)行拼接;在紋理貧乏的區(qū)域例如人后腦勺部分特征信息比較稀疏,這不利于拼接配準(zhǔn),通過調(diào)整特征點(diǎn)數(shù)H圖6 拼接結(jié)果以及搜索區(qū)域大小(e !、c !,在不同的紋理區(qū)域條件下都能夠正確地拼接上的。但清晰度與平滑度是相互矛盾的,在圖像重疊區(qū)域會(huì)有一定的模糊現(xiàn)象,這還有待改進(jìn)。5 結(jié)論人臉紋理圖像拼接是基于圖像的三維人臉建模技術(shù)中的一個(gè)重要的環(huán)節(jié)。近年來,人臉三維建模在虛擬現(xiàn)實(shí)、影視制作、視頻直播、輔助教學(xué)、醫(yī)學(xué)研究、游戲娛樂等諸多方面都得到了廣泛的應(yīng)用6,人臉紋理圖像的拼接有其研究的價(jià)值。本算法充分的考慮了人臉紋理信息豐富以及人頭部的幾何形狀,采用了基于柱面投影的

22、特征塊匹配方法,實(shí)現(xiàn)了人臉紋理圖像的快速精確拼接。實(shí)驗(yàn)結(jié)果表明該算法能夠有效地消除視覺不一致性,為三維人臉建模提供真實(shí)感的全景紋理圖像。參考文獻(xiàn):1 X Fang ,et a.l Con ti nuous Fiel d Based Free-f or m SurfaceM odeli ng and M orph i ngJ.C o mpu ter &Graph ics ,2001,25(2:235-243.2 鐘力,張茂軍,孫立峰,李云浩.360度柱面全景圖象生成算法及其實(shí)現(xiàn)J.小型微型計(jì)算機(jī)系統(tǒng),1999,20(12:899-903.3 王娟,師軍.一種柱面全景圖像自動(dòng)拼接算法J.計(jì)

23、算機(jī)仿真,2008,25(7:213-215.4 肖惠,滑東紅,楊廷欣,劉偉.中國成年人頭面部尺寸的研究J .人類工效學(xué),1998,4(12:25-30.5 侯舒維,郭寶龍.一種圖像自動(dòng)拼接的快速算法J.計(jì)算機(jī)工程,2005,31(15:70-72.6 趙娜.基于照片的三維人臉建模技術(shù)研究D .秦皇島:燕山大學(xué),2007.(下轉(zhuǎn)第319頁圖3 拉普拉斯銳化要求,采用VC編程無疑是最佳的選擇。另外,軟件應(yīng)采用模塊化的設(shè)計(jì)方法,應(yīng)用實(shí)時(shí)操作系統(tǒng)來實(shí)現(xiàn)。4由于視頻圖像數(shù)據(jù)流龐大,數(shù)據(jù)的讀取非常耗時(shí),所以數(shù)據(jù)流結(jié)構(gòu)和流向的設(shè)計(jì)非常重要。另外,在體積、重量允許的條件下,當(dāng)運(yùn)算速度難以達(dá)到時(shí),可以使軟件設(shè)

24、計(jì)硬件化,以提高系統(tǒng)的實(shí)時(shí)性。4.4 仿真結(jié)果分析1對(duì)于用改進(jìn)的中值濾波處理后的圖像,圖像噪聲大大降低,圖像質(zhì)量明顯提高。改進(jìn)的中值濾波不僅較好地消除了強(qiáng)脈沖性噪聲的影響,而且較好地保留了圖像的邊緣,達(dá)到了圖像預(yù)處理的要求。但是,圖像輪廓不夠清晰,無法達(dá)到目標(biāo)識(shí)別的要求。2采用改進(jìn)的中值濾波法時(shí),用大窗口的運(yùn)算量大,耗時(shí)長,而且隨著窗口的變大,運(yùn)算量顯著增大,耗時(shí)變長,但是圖像效果提高不明顯?？紤]到圖像處理效果和系統(tǒng)實(shí)時(shí)性的要求,若用此法處理圖像時(shí),最好先選用較小的窗口,不滿足要求時(shí)再選擇較大的窗口。3從各向同性觀點(diǎn)來看,拉普拉斯銳化具有各向同性,即能對(duì)任何走向的界線和線條進(jìn)行銳化,無方向性。從邊緣增強(qiáng)效果來看,用拉普拉斯銳化勾勒邊緣強(qiáng),輪廓清晰,達(dá)到了易于目標(biāo)識(shí)別的要求。4盡管拉普拉斯銳化會(huì)增強(qiáng)圖像的噪聲,但由于圖像的銳化處理是在圖像平滑后進(jìn)行的,所以銳化處理后的圖像的噪聲不會(huì)對(duì)圖像的質(zhì)量造成大的影響。因此,對(duì)于紅外輻射大氣傳輸?shù)呐灤t外圖像的識(shí)別,先用改進(jìn)的中值濾波方法進(jìn)行預(yù)處理,再進(jìn)行拉普拉斯銳化處理,可以達(dá)到易于實(shí)時(shí)識(shí)別目標(biāo)的目的。5 結(jié)束語首先研究了紅外輻射在大氣傳輸中的特性和艦船的紅外輻射特性,然后,通過對(duì)因紅外輻射大氣傳輸造成降質(zhì)的艦船紅外圖像用改進(jìn)的中值濾波進(jìn)行預(yù)處理,再對(duì)預(yù)處理后的圖像進(jìn)行拉普拉斯銳化處理