一種改進(jìn)的光流算法概要

1、187一種改進(jìn)的光流算法楊國亮，王志良,牟世堂，解侖,劉冀偉(北京科技大學(xué)信息工程學(xué)院，北京100083摘要:光流法是運(yùn)動(dòng)圖像序列分析的一種重要方法。該文通過引入前向-后向光流方程，計(jì)算其Hessian矩陣，把Hessian矩陣條件數(shù)的倒數(shù)作為Lucas -Kanade光流 法的加權(quán)陣，可有效消除局部鄰域中不可靠約束點(diǎn)，同時(shí)提高基本約束方程解的穩(wěn)定 性。實(shí)驗(yàn)表明該方法相對于其它梯度約束光流法具有更好的可靠性。關(guān)鍵詞:光流;Hessia n矩陣;條件數(shù)An Improved Optical Flow AlgorithmYANG Guolia ng, WANG Zhilia ng, MU Shit

2、a ng, XIE Lun 丄IU Jiwei(School of In formatio n Engin eeri ng, Beiji ng Un iversity of Scie nee & Tech no logy, Beiji ng 100083【Abstract 】 Optical flow estimation is an important method to motion image an alysis. This paper in troduces forward and backward con stra int equati on and Hessia n mat

3、rix for the computatio n of optical flow. It exam ines well-posed ness of each point of local n eighbourhood and the weight of Lucas Kan ade' s method is defi ned as the reciprocal of the conditioning number of its Hessian Matrix. This can eliminate those uncertainty constrains and improve the n

4、umerical stability of the solution of the gradient constraint equation. Experimental results show that this method is suitable and reliable.【Key words 】 Optical flow; Hessian matrix; Conditioning number計(jì)算機(jī)工程Computer Engineering第32卷第15期Vol.32 M 15 200年 8 月August 2006人工智能及識別技術(shù)文章編號:1000 3428(200615- 01

5、87 02文獻(xiàn)標(biāo)識碼：A中圖分類號：TP391運(yùn)動(dòng)目標(biāo)檢測是圖像處理技術(shù)的一個(gè)重要組成部分，它是計(jì)算機(jī)視覺、模式識別、圖像編碼和安全監(jiān)控等研究領(lǐng)域的重點(diǎn)和難點(diǎn)?，F(xiàn)有的運(yùn)動(dòng)目標(biāo)檢測方法主要有運(yùn)動(dòng)能量法、背景減法、圖像差分法和光流法。運(yùn)動(dòng) 能量法適合于復(fù)雜變化場合，能夠粗略地分割出運(yùn)動(dòng)目標(biāo)；背景減法在背景簡單的情 況下比較有效;而圖像差分法則直接比較兩幀圖像對應(yīng)象素點(diǎn)的灰度值提取運(yùn)動(dòng)信 息，計(jì)算比較簡單。光流法作為一種重要的運(yùn)動(dòng)圖像分析方法，在最近20年得到了較大發(fā)展，研究者提出了多種不同的改進(jìn)算法，主要可分為4類1:時(shí)空梯度法，塊匹配 方法，基于能量方法和基于相位分析法，其中時(shí)空梯度法最為常見。

6、1 Lucas-Kanade光流法3光流場的計(jì)算最初是由Horn和Schunek提出2。假定t時(shí)刻圖像上的點(diǎn),(y x處灰度值為,(t y x I ,在時(shí)刻t t ?+時(shí),這一點(diǎn)運(yùn)動(dòng)到,(t t y y x x ?+?+?+,對應(yīng)的灰度值為,(t t y y x x I ?+?+?+,假定它與,(t y x I 相等,即y x I t t y y x x I =?+?+?+ (1將左邊在,(t y x點(diǎn)用泰勒公式展開，忽略二階和二階以上項(xiàng)可以得到二？+?+?tI ty y I tx x I 記 t x dt dx t y x u ?=,(;t y dt dy t y x v ?=,(,則可得到

7、基本光流約束方程：0=+t y x I v I u I (2式中xI I x ?=,y I I y ?=,tI I t ?=,寫成梯度形式為0(=+? t T I U I o由于光流場Tv u U ,(=有2個(gè)變量，而基本約束方程只有一個(gè)，只能求出光流場沿梯度方向的值，因此從基本光流方程求解光流場是一個(gè)不適定問題，必須引入附加的約束條件。Lucas和Kanade假設(shè)在一個(gè)小的空間鄰域Q上運(yùn)動(dòng)矢量保持恒定，然后使用加權(quán)最小二乘法(weighed least-squareS古計(jì)光流。在一個(gè)小的空間鄰域Q上，光流估計(jì)誤差定義為E? +,(22(y x t y x I v I u I x W (3其中

8、(2x W表示窗口權(quán)重函數(shù)，它使鄰域中心區(qū)域?qū)s束產(chǎn)生的影響比外圍區(qū)域更大，式(3解為B W A A W A U T T 212(-= (4 其中，在 t 時(shí)刻的 n 個(gè)點(diǎn)? i X ,1(,(T n A I X I X =?，1(,(n W diag W X W X = ,1(,(T t t n B I X I X =-2改進(jìn)的光流計(jì)算方法傳統(tǒng)的光流計(jì)算方法主要是基于灰度守恒和光流場的平滑性假設(shè)，但這些假設(shè)在陰影、邊界和遮擋性的地方不再成立，為此，本文提出相應(yīng)的改進(jìn)算法。2.1前向- 后向光流方程考慮方程0,(,(=?+?+?+-t t y y x x I t y x I可以得到,(,(t

9、t y y x x I t y x I ?+?+?+= (5,(,(t y y x x I t t y x I ?-?-=?+ (6基金項(xiàng)目：北京市現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室基金資助項(xiàng)目(TDXX0503;北京科技大學(xué)重點(diǎn)基金資助項(xiàng)目(20040503990江西省教育廳科技計(jì)劃 基金資助項(xiàng)目(贛教技字2005145作者簡介:楊國亮(1973，男,博士生，主研方向：圖像處理,面部表情識別，情感計(jì) 算;王志良，博士、教授、博導(dǎo)；牟世堂，高工;解侖,博士、副教授；劉冀偉，碩士、副教 授 收稿日期:2005-11-09 E-mail :ygliang30188對式(5、式(6分別進(jìn)行泰勒展開并忽

10、略二階及二階以上項(xiàng)：(=?+?+?ttJ J J kL Lt y x I y y t y x I x x t y x I 0(=?+?+?+?+?+?ttt t y x I y y t t y x I x x t t y x I 即0=+t t ty t x I v I u I (70=+?+?+?+t ttttytt x I v I u I (8其中：x t y x I I t x?=,(, yt y x I I t y ?=,(, t t y x I I t t ?=,(x t t y x I I tt x ?+?=?+,(,yt t y x I I t t y ?+?=?+,(,t t

11、t y x I I t t t ?+?=?+,(式(7、式(8即為前向-后向光流方程，可以合并為一個(gè) 新的光流方程：0'''=+t y x I v I u I (9式中:,(1't t x t x x I I f I ?+=,(2't t y t yy I I f I ?+=,(3't t t t t t I I f I ?+= 文中取 t t x t x x I I I ?+-+=1('aa ,t t yt y y I I I ?+-+=1('aa ,t t t t t t I I I ?+-+=1('aa,a為一常數(shù)，

12、根據(jù)性能指標(biāo)式(3,可求解出光流場,(v u。 2.2 Hessian矩陣盡管Lucas -Kanade光流法計(jì)算簡單，光流估計(jì)精度較高，但它有一個(gè)致命缺點(diǎn), 假定鄰域Q內(nèi)各像素點(diǎn)光流保持恒定，而且光流計(jì)算依賴于窗口權(quán)重函數(shù)，這意味著 如果在鄰域Q內(nèi)存在嚴(yán)重違反光流約束方程的點(diǎn)或鄰域Q運(yùn)動(dòng)不連續(xù)，將使得估計(jì)的光流可靠性嚴(yán)重降低。為此，本文引入Hessian矩陣判斷領(lǐng)域Q內(nèi)每點(diǎn)對于基本 約束方程的良態(tài)性”方程(9分別對y x，求偏導(dǎo)可得：tx yx xx I v I u I -=+ty yy xy I v I u I -=+ (10 即？-=? ty tx yy xy yx xxI I v u

13、I I I I (11 定義 Hessian矩陣：? ? ? ? ? =yy xyyx xx I I I I H (12Hessian矩陣的條件數(shù):|(min max 1?=-KHH Cond ,其中max入min 2分別為Hessian矩陣H的最大特征值和最小特征值，可以通過 Hessian矩陣的條件數(shù)大小來判斷方程(11解的穩(wěn)定性，如果Hessian矩陣的條件數(shù)很大則方程(11為病態(tài)方程,對應(yīng)的 Hessian矩陣秩很小，其解不穩(wěn)定，計(jì)算的光流不可靠；如果Hessian矩陣的條件數(shù)接近 1,對應(yīng)的Hessian矩陣秩很大 力程(11為良態(tài)，其解魯棒性較好。由此可以通過計(jì)算 Hessian矩

14、陣的條件數(shù)來剔除鄰域 Q內(nèi)不可靠點(diǎn)。2.3梯度閾值處理在復(fù)雜場景運(yùn)動(dòng)目標(biāo)檢測中，由于場景和運(yùn)動(dòng)目標(biāo)的灰度梯度可能相差不大，使 得運(yùn)動(dòng)目標(biāo)輪廓處于模糊狀態(tài)，計(jì)算的輪廓處光流不準(zhǔn)確，也即基本光流約束方程在 灰度梯度很小時(shí)不成立4。為此引入梯度約束條件，設(shè)定灰度梯度閾值T,在灰度梯 度大于閾值T的像素點(diǎn)計(jì)算光流。2.4基于Hessian矩陣的光流算法Hessian矩陣的條件數(shù)很好地刻畫了線性方程(11解的穩(wěn)定性，而且條件數(shù)越大, 對應(yīng)的Hessian矩陣的秩越小，為此可以先利用Hessian矩陣剔除鄰域Q內(nèi)不可靠點(diǎn), 并把各點(diǎn)對應(yīng)條件數(shù)的倒數(shù)作為該點(diǎn)權(quán)重，其算法如下：(1計(jì)算圖像中每點(diǎn)的一階和二階梯

15、度；(2分別計(jì)算每點(diǎn)對應(yīng)Hessian矩陣的秩det(H和條件數(shù)(H Cond ,設(shè)定閾值T則:0det(1det(f H W X if H Cond H tt? <?=?紹？并對每個(gè)鄰域Q內(nèi)的(X W進(jìn)行歸一化處理；(3采用加權(quán)最小二乘法求 解式(9光流場,(v u。3實(shí)驗(yàn)結(jié)果及分析為了驗(yàn)證上述算法的有效性，本文采用了 1組合成圖像序列和2組真實(shí)圖像序列進(jìn)行實(shí)驗(yàn)。其中合成圖像序列相鄰幀間的真實(shí)光流已知，通過采用本文算法對其估計(jì)光流，然后與真實(shí)光流比較，作出定量評估。對于光流場T v u V ,(=,把它寫出一個(gè)三維的方向矢量 T v u v u V 1,(1122+=真實(shí)光流c V T

16、和估計(jì)光流e V t之間的光流角誤差可以表示為arccos(e c E V V tT ? =平均誤差為刀=Ni Ei NAE 1式中,N為光流場的像素個(gè)數(shù)。光流場標(biāo)準(zhǔn)角偏差定義為刀=-=Ni EAE i NSD 1(1參照Barron等人1的做法，本文亦在估計(jì)光流之前,采用了標(biāo)準(zhǔn)差為1.5像素/幀 的時(shí)空高斯濾波器平滑圖像序列，這有助于削弱時(shí)間噪聲和輸入中的量化效應(yīng)。圖1(a、圖1(b分別是Translating Trees圖像序列的第7、8幀,該圖像序列以1.732.26的流速向右運(yùn)動(dòng)，運(yùn)動(dòng)方向平行于水平軸。圖1(c 是利用本文方法計(jì)算的第8、9幀之間的光流場，可以看出光流方向基本跟真實(shí)光流

17、 一致,大小稍有差別，表1給出了本文和其它方法計(jì)算的光流平均角誤差和標(biāo)準(zhǔn)角偏 差的對照。(a (b (c 圖 1 Tran slat ing Trees 序列與光流場表1對Tran slati ng Trees序列，本文算法與其它算法比較算法流速平均角誤差 流速標(biāo)準(zhǔn)角偏差密度Horn and Schunck(original138.72 27.67 ° 00% Horn and Schunck(modified1 2.02 ° 2.27 ° 100% Lucas and Kanade( 入 2>1.010.66 °.67 100%本文方法0.61

18、0.62 100%圖2是Rubic Cube序列實(shí)驗(yàn)結(jié)果，其中圖2(a、圖2(b為Rubic Cube序列中的 第9、10幀，圖2(c為采用本文方法得到的第9、10幀之間光流場，顯然該光流場比 較準(zhǔn)確地反映了 Rubic Cube圖像序列的運(yùn)動(dòng)信息。(下轉(zhuǎn)第226頁226RET單片機(jī)發(fā)送子程序：SEND: CLR TIMOV R0,#20HMOV R2,#04H ;數(shù)據(jù)長 LOOP: MOV A,R0 MOV SBUF,A WAIT: JBC TI,AAR AJMP WAIT AAR: INC R0 CLR TI DJNZ R2,LOOP RET 單片機(jī)接收子程序： RECIEVE:MOV R

19、1, #30H MOV R3,#04H WAIT1: JBCRI,LOOP1 AJMP WAIT1LOOP1: MOV A,SBUFMOV R1,A INC R1 CLR RI DJNZ R3,WAIT1；校驗(yàn)幀是否正確，正確,則執(zhí)行相應(yīng)的命令相反，發(fā)送錯(cuò)誤信息RET4結(jié)束語本設(shè)計(jì)采用數(shù)據(jù)幀的形式進(jìn)行數(shù)據(jù)傳輸，并且在數(shù)據(jù)幀中編入了對所傳數(shù)據(jù)的 校驗(yàn)和相應(yīng)的握手協(xié)議，有效地保證了串行通信過程中數(shù)據(jù)的可靠性。經(jīng)過實(shí)驗(yàn)調(diào) 試，上、下位機(jī)通信數(shù)據(jù)正確無誤，為保證IC卡機(jī)油加油機(jī)加注系統(tǒng)的安全運(yùn)行提供 了前提。此外MSComm控件屏蔽了通信過程中的底層操作，在串口編程時(shí)非常方 便。在實(shí)際進(jìn)行系統(tǒng)開發(fā)時(shí)，

20、利用MSComm控件能起到縮短設(shè)計(jì)周期、增加系統(tǒng)可 靠性的作用。參考文獻(xiàn)1王懷山,鄧璐娟串行通信技術(shù)在IC卡售飯系統(tǒng)中的應(yīng)用J.自動(dòng)化與儀表, 2001, 16(6: 41.2任衛(wèi)娟,余光華.Delphi環(huán)境中串口通信的實(shí)現(xiàn)J.四川工業(yè)學(xué)院學(xué)報(bào).2003, 22(4: 42.3崔建華,郭軍.Delphi串口通信工程開發(fā)實(shí)例M.北京：人民郵電出版社, 2003.上接第188©ChinaAll rightsreserved.Publishing Hou頁©ChinaAll rights reserved.Publishing Houe©ChinaAll rights

21、reserved. Publishing Hqi(a (b (c圖2 Rubic Cube圖像序列與光流場©ChinaAll rightsreservedPublishing House.http:/www<1994-2009A r'ddp.mir' Tniimal Rlf»©China©ChinaAll rights reserved.Publishing HouAll rights reserved.Publishing House. http:J 1994-2009Academic Journal Elect(a (b (c圖3憤怒表情圖像序列與光流場第3個(gè)測試圖像序列來自于卡耐基梅隆大學(xué)的人臉表情庫(The CMU-PITTSBURGH AU-Coded Face Expression Image Database一憤怒表情序列圖像，圖 3(a、圖3(b分別為該序列的第11、13幀，憤怒表情主要體現(xiàn)在眼睛、眉毛和嘴巴： 眉毛緊皺,上下眼皮緊張，眼睛可能鼓起，上下嘴唇緊閉。圖3(c為其對應(yīng)的光流場。 從圖中可以看出，該光流場基本反映