第五章光電信息處理技術(shù)成像目標探測與跟蹤技術(shù)

1、成像目標(mbio)探測與跟蹤共七十一頁主要(zhyo)內(nèi)容成像探測與跟蹤(gnzng)系統(tǒng)概述運動目標檢測方法成像目標跟蹤方法目標跟蹤技術(shù)應用及發(fā)展共七十一頁主要(zhyo)內(nèi)容成像跟蹤系統(tǒng)(xtng)概述運動目標檢測方法成像目標跟蹤方法目標跟蹤技術(shù)應用及發(fā)展共七十一頁一、成像探測與跟蹤(gnzng)系統(tǒng)概述精確制導、目標(mbio)跟蹤 “道爾” 野戰(zhàn)地空導彈武器系統(tǒng)，是世界上最先采用垂直發(fā)射方式的近程防空系統(tǒng)，同時也是一種全天候、全自動、三位一體(目標搜索、跟蹤和導彈發(fā)射裝置同時裝在一輛車上)的新一代高性能防空導彈發(fā)射車。它具有警戒、指揮與控制、導彈制導與發(fā)射等眾多功能，既可以獨立作戰(zhàn)，

2、也可以和發(fā)射連的其它發(fā)射車協(xié)同作戰(zhàn)。它可在低空、超低空和近程區(qū)域內(nèi)攔截多種非隱身與隱身空襲目。共七十一頁X-59導引頭雷達(lid)導引頭自動(zdng)導系統(tǒng)一、成像探測與跟蹤系統(tǒng)概述共七十一頁導引頭舵機(du j)發(fā)動機尾翼(wi y)自動導系統(tǒng)一、成像探測與跟蹤系統(tǒng)概述共七十一頁一、成像探測(tnc)與跟蹤系統(tǒng)概述共七十一頁跟蹤(gnzng)系統(tǒng)及跟蹤(gnzng)一、成像探測(tnc)與跟蹤系統(tǒng)概述共七十一頁EF2000歐洲戰(zhàn)斗機裝備“海盜”機載紅外搜索跟蹤(gnzng)系統(tǒng) “海盜”系統(tǒng)（無源紅外機載跟蹤設備）可以為空中攔截和空地作戰(zhàn)提供戰(zhàn)術(shù)優(yōu)勢。該設備安裝在機艙左側(cè)、風擋玻璃的前方

3、?！昂１I”系統(tǒng)在空對空模式下運行的時候，具備搜索和跟蹤系統(tǒng)（IRST）功能，提供無源目標探測和跟蹤能力；在空對地模式下，可以執(zhí)行多目標獲取(huq)和識別任務，同時還能提供輔助導航和著陸功能。 一、成像探測與跟蹤系統(tǒng)概述共七十一頁紅外監(jiān)控(jin kn)系統(tǒng)一、成像探測與跟蹤(gnzng)系統(tǒng)概述共七十一頁什么是視頻(shpn)(成像)目標跟蹤？視頻序列目標跟蹤是指對傳感器攝取到的圖像(t xin)序列進行處理與分析，充分利用傳感器采集得到信息來對目標進行穩(wěn)定跟蹤的過程。一旦目標被確定，就可獲得目標的位置、速度、加速度等運動參數(shù)，進而獲得目標的特征參數(shù)。 一、成像探測與跟蹤系統(tǒng)概述共七十一頁什

4、么是視頻(shpn)(成像)目標跟蹤？在軍事上，視頻序列目標跟蹤技術(shù)廣泛應用于精確制導、戰(zhàn)場機器人自主導航、無人機著降，靶場光電跟蹤等領(lǐng)域(ln y)。在現(xiàn)代高技術(shù)條件下的戰(zhàn)爭中，由于各種偽裝、欺騙、對抗、反輻射技術(shù)大量使用，使得戰(zhàn)場環(huán)境日益復雜，尤其是在復雜環(huán)境下的目標跟蹤問題，成為該領(lǐng)域(ln y)內(nèi)研究的熱點與難點；在民用上，該技術(shù)主要應用在智能視頻監(jiān)控、智能交通管制、醫(yī)療影像診斷等方面。 一、成像探測與跟蹤系統(tǒng)概述共七十一頁成像跟蹤(gnzng)系統(tǒng)流程及框圖一、成像探測與跟蹤系統(tǒng)(xtng)概述共七十一頁研究(ynji)現(xiàn)狀（國際）1997年，美國國防高級研究項目署設立了以卡內(nèi)基梅隆

5、大學牽頭，麻省理工學院等高校參與的視覺監(jiān)控重大項目VSAM，主要研究用于戰(zhàn)場及普通民用(mnyng)場景監(jiān)控的自動視頻理解技術(shù)。1999年，美國康奈爾大學計算機系設計了一套航拍視頻檢測與持續(xù)跟蹤系統(tǒng)，該系統(tǒng)能夠?qū)Χ噙\動目標實現(xiàn)長時間的準確跟蹤，即使發(fā)生短時間內(nèi)目標被遮擋或目標時靜時動的情況 。2005年，美國中央佛羅里達大學計算機視覺實驗室開發(fā)出了基于MATLAB的COCOA系統(tǒng)，用于無人機低空航拍視頻圖像的目標檢測與跟蹤處理。一、成像探測與跟蹤系統(tǒng)概述共七十一頁研究(ynji)現(xiàn)狀（國內(nèi)）研究所：中科院光電技術(shù)(jsh)研究所、長春光機所、上海光機所，安徽光機所、上海技術(shù)(jsh)物理所、中

6、科院自動化所，沈陽自動化所 ，中國工程物理研究院等。高校：國防科技技術(shù)大學、西北工業(yè)大學、哈爾濱工業(yè)大學、北京理工大學、北京航空航天大學、華中科技大學、空軍工程大學等。一、成像探測與跟蹤系統(tǒng)概述共七十一頁VSAM 目標是開發(fā)自動視頻理解技術(shù)，并用于實現(xiàn)未來戰(zhàn)爭人力費用昂貴、非常危險或者(huzh)人力無法實現(xiàn)等場合的監(jiān)控。該系統(tǒng)融合了數(shù)字攝像機、音頻采集頭、紅外和微波報警探測器、溫度探測器等多種類型的傳感器，可以對監(jiān)控地區(qū)進行全方位的晝夜監(jiān)控。使用了地理信息和三維建模技術(shù)，提供可視化圖形操作界面，當視頻分析處理器報告了運動對象、對象類別及位置之后，操作員不僅可以在地理信息界面上進行虛擬對象標記

7、，而且還能在輔助窗口觀察對象的真實活動情況。共七十一頁VSAM使用(shyng)架設在高處多方位旋轉(zhuǎn)云臺上的單個攝像機，可以全方位地實施視頻監(jiān)控。系統(tǒng)首先有規(guī)律地初始化一系列背景圖像，然后利用基于特征區(qū)域的方法將實際攝錄的視頻圖與相應的背景圖作匹配，再利用背景減除法檢測運動目標。 共七十一頁VSAM由于傳統(tǒng)的卡爾曼濾波方法只能處理單峰問題，該系統(tǒng)對傳統(tǒng)的卡爾曼濾波思想(sxing)進行了擴展，并使用了帶目標模板更新的相關(guān)匹配算法實現(xiàn)了多目標的跟蹤。 共七十一頁VSAM針對機載航空攝像機所拍攝的視頻圖像，薩爾諾夫戴維研究中心研發(fā)了檢測和跟蹤獨立地面車輛目標的視頻圖像理解技術(shù)(jsh)。該技術(shù)(j

8、sh)的關(guān)鍵在于對航空攝像機的自運動補償，對經(jīng)過補償?shù)膱D像，利用三幀差減的方法檢測目標。 共七十一頁美國康奈爾大學計算機系設計的航拍視頻圖像目標檢測與持續(xù)跟蹤(gnzng)系統(tǒng)的特色在于，能夠?qū)Χ噙\動目標實現(xiàn)較長時間的準確跟蹤(gnzng)，即使在短時間內(nèi)目標被遮擋或移出視場以及目標時靜時動。該系統(tǒng)在運動背景估計與補償中所涉及的主要技術(shù)是基于Kanade-Lucas-Tomasi算法的特征點跟蹤和基于M估計的魯棒性仿射參數(shù)估計。然后利用三幀差減的方法檢測目標運動，利用形態(tài)學操作分割圖像并定位運動目標。對多目標進行標記之后，利用Hausdorff距離匹配和模板更新的方法對目標進行長時間的跟蹤。4

9、576102123152159253298共七十一頁COCOACOCOA系統(tǒng)是一種無人機航拍圖像目標跟蹤系統(tǒng)。該系統(tǒng)針對一段視頻圖像序列，通過三大技術(shù)環(huán)節(jié)，即背景運動補償、運動檢測與目標跟蹤，來完成對目標的檢測與跟蹤。該系統(tǒng)基于MATLAB平臺(pngti)，可以適用于不同的光傳感器（可見光或紅外），最小的可跟蹤目標約為100象素大小。該系統(tǒng)對機載光電傳感器或紅外傳感器所攝視頻圖像進行魯棒性背景運動補償，并可生成全景圖，利于更高層次的應用。對圖像中多種運動目標（如汽車、坦克、摩托車等）進行可靠性檢測并進行持久地跟蹤。共七十一頁COCOA背景運動補償基于特征 + 基于灰度梯度運動檢測累積幀差法

10、+ 形態(tài)學操作目標跟蹤Level Set方法 + Mean Shift方法視頻(shpn)序列COCOA系統(tǒng)(xtng)的基本技術(shù)環(huán)節(jié) 共七十一頁 歸納起來，運動場景中目標檢測與跟蹤(gnzng)技術(shù)主要包括以下三個關(guān)鍵技術(shù)： 背景補償與圖像預處理：消除背景運動、隨機噪聲對目標檢測與跟蹤的影響。 圖像分割與目標檢測：利用圖像分割技術(shù)從圖像中檢測出可能的運動目標。 特征提取和目標跟蹤：對檢測出的目標提取可識別的特征，依據(jù)這些特征在后續(xù)的視頻圖像序列中對目標進行跟蹤。共七十一頁主要(zhyo)內(nèi)容成像探測與跟蹤系統(tǒng)(xtng)概述運動目標檢測方法成像目標跟蹤方法目標跟蹤技術(shù)應用及發(fā)展共七十一頁 1

11、、靜止背景(bijng)下的目標檢測 幀差分法：二、運動(yndng)目標檢測靜態(tài)場景 目標檢測相對簡單，研究漸趨成熟動態(tài)場景 相對復雜，成為當前研究領(lǐng)域的熱點共七十一頁靜態(tài)場景幀差的一個(y )例子共七十一頁 研究重點：運動目標(mbio)的檢測二、運動目標(mbio)檢測視頻圖像中的目標檢測與跟蹤，是計算機視覺的基礎(chǔ)課題，同時具有廣泛的應用價值。共七十一頁視頻(shpn)序列運動檢測對于動態(tài)場景，由于目標與攝像頭之間存在復雜的相對運動，運動檢測(jin c)富有挑戰(zhàn)性。傳統(tǒng)的幀差方法已經(jīng)不再適用，如何能對全局的運動進行估計和補償，成為問題的關(guān)鍵。第一幀 幀差圖像共七十一頁解決(jiju)思

12、路要檢測動態(tài)場景中的運動目標，關(guān)鍵在于對場景的運動進行估計，通過(tnggu)估計出的運動參數(shù)補償其運動，最后使用幀差法得到運動目標。提取特征點特征點匹配最小二乘求運動參數(shù)提取特征點前一幀圖像后一幀圖像運動補償幀差法運動目標共七十一頁求解全局運動(yndng)參數(shù)前一幀后一幀求特征點并匹配運動補償補償后的幀差圖像共七十一頁實驗(shyn)結(jié)果與普通幀差法的比較第50幀第80幀第5幀幀差法特征匹配的方法原序列共七十一頁基于(jy)圖像金字塔分解的全局運動估計 采用了3層金字塔進行多分辨率計算,而且在每層迭代計算中,將基于塊的外點去除算法與特征點提取(tq)算法相結(jié)合,這樣既加快了算法的速度,又提

13、高了計算結(jié)果的準確性。共七十一頁基本(jbn)步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對金字塔頂層圖像進行全局運動估計，求得運動參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對該層進行全局運動估計，求得相應的運動參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層, 對該層進行全局運動估計，求得該層的運動參數(shù)集。利用求得的最終參數(shù)集，對圖像進行運動補償，將運動補償后的圖像與前一幀圖像進行差值。共七十一頁下圖給出了運動補償與直接(zhji)幀差的結(jié)果比較圖1Coastguard序列圖像圖2直接幀差和運動補償后的差值圖比較共七十一頁二、運動目標(mbio)檢測 塊匹配(ppi)算法簡介無需計算

14、每一個像素的運動，而只是計算由若干像素組成的像素塊的運動，對于許多圖像分析和估計應用來說，塊運動分析是一種很好的近似。如數(shù)字視頻壓縮國際標準MPEG1-2 采用了基于塊的運動分析和補償算法。 共七十一頁二、運動(yndng)目標檢測 塊匹配(ppi)算法的關(guān)鍵技術(shù) 匹配準則(Matching Criteria) 搜索策略(Searching Strategy 匹配特征共七十一頁二、運動(yndng)目標檢測匹配(ppi)準則目標幀鎖定幀共七十一頁二、運動(yndng)目標檢測匹配(ppi)準則.均方差(Mean Square Error, MSE).平均絕對差(Mean absolute di

15、screpancy, MAD)共七十一頁二、運動目標(mbio)檢測匹配(ppi)準則3.互相關(guān)(Cross-correlation, CC)共七十一頁二、運動目標(mbio)檢測搜索(su su)策略 全視場搜索(FS) 對數(shù)搜搜 三步搜索 菱形搜索(Diamond Search ，DS) 其他改進搜索策略共七十一頁Three-Step Search (3SS)1111111112322222223333333搜索(su su)策略共七十一頁2D 對數(shù)(du sh)法搜索111112223344444444搜索(su su)策略共七十一頁二、運動目標(mbio)檢測匹配(ppi)特征 圖像灰

16、度、亮度、顏色等信息 圖像特征(邊緣、輪廓、紋理、變換域特征等。共七十一頁主要(zhyo)內(nèi)容成像探測與跟蹤系統(tǒng)(xtng)概述運動目標檢測方法成像目標跟蹤方法目標跟蹤技術(shù)應用及發(fā)展共七十一頁1、目標(mbio)跟蹤方法分類三、成像目標跟蹤(gnzng)方法 成像跟蹤系統(tǒng)經(jīng)過圖像的預處理、圖像的分割識別等一系列信息處理，最終實現(xiàn)對目標位置的實時精確測量，即對目標或目標的局部實施穩(wěn)定跟蹤，實時輸出目標的脫靶量。 矩心(質(zhì)心、形心)跟蹤； 邊緣跟蹤； 峰值跟蹤； 相關(guān)跟蹤； 濾波跟蹤。共七十一頁1矩心跟蹤 矩心也叫質(zhì)心或重心，是物體對某軸的靜力矩作用中心。如果把目標圖像看成是一塊質(zhì)量(zhling

17、)密度不均勻的薄板，以圖像上各像素點的灰度作為各點的質(zhì)量(zhling)密度。這樣就可以借用矩心的定義式來計算目標圖像的矩心。xyabcdxcyc三、成像目標(mbio)跟蹤方法共七十一頁TemplateSearch image2相關(guān)跟蹤由于目標運動、姿態(tài)發(fā)生改變、光照條件改變以及雜波背景的干擾(gnro)，使得目標圖像的分割提取十分困難，計算目標的矩心或形心不準確。在某種情況下，可以采用以圖像匹配為基礎(chǔ)的跟蹤方法，習慣上稱之為相關(guān)跟蹤。三、成像目標跟蹤(gnzng)方法共七十一頁分片跟蹤部分(b fen)遮擋目標跟蹤為什么引入分片(fn pin)跟蹤： 在目標跟蹤領(lǐng)域，一個重要的難題就是目標

18、的遮擋問題，因為遮擋發(fā)生時目標可能部分或全部不可見。 模擬人眼跟蹤目標的方式，發(fā)生遮擋時，人眼會關(guān)注目標的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標分成多個小片，目標被遮擋時，利用“可見片”來跟蹤。 共七十一頁分片(fn pin)跟蹤主要思想： 將目標分片，建立目標分片表現(xiàn)模型(mxng)（模板）。在目標上一幀的位置周圍遍歷搜索，找到與目標模板相似度最高的候選目標作為跟蹤結(jié)果。 當前幀上一幀目標位置 候選目標位置搜索窗口目標分片共七十一頁分片(fn pin)跟蹤 其中相似度的度量是通過各片的空間直方圖匹配來實現(xiàn)的。確定目標位置后，判斷目標中各片的有效(yuxio)性，我們僅利用有效(yux

19、io)片進行下一幀的跟蹤。 被遮擋的區(qū)域片基本丟失共七十一頁模板更新 由上可見這種分片方法已經(jīng)可以很好的解決遮擋問題。 但是在跟蹤過程中，目標的外觀模型可能發(fā)生變化（例如目標轉(zhuǎn)身、尺寸(ch cun)變化等等）。那么剛開始為目標建立的模板就不能很好的表示目標，這將影響跟蹤效果。 共七十一頁目標外觀變化時片匹配(ppi)的情況外觀緩慢變化(binhu)時，丟失的片很少共七十一頁利用有效片的概念，我們?yōu)槊總€目標建立兩種模板，臨時模板和參考模板。 臨時模板實時更新的模板，在無遮擋情況下跟蹤，可以(ky)解決目標外觀緩慢變化的問題。 參考模板能夠很好的表示目標的模板，用于遮擋情況下的跟蹤。共七十一頁分

20、片(fn pin)跟蹤多組實驗(shyn)結(jié)果： 1.可以有效的解決目標遮擋 2.在目標表現(xiàn)模型緩慢變化的情況下，實時更新模板 3.在背景較為簡單的情況下實現(xiàn)目標尺度的更新共七十一頁分片(fn pin)跟蹤遮擋(zhdng)下的跟蹤共七十一頁分片(fn pin)跟蹤目標表現(xiàn)(bioxin)模型的變化時的跟蹤共七十一頁目標(mbio)尺度發(fā)生變化共七十一頁應用(yngyng)舉例：車輛檢測與跟蹤智能(zh nn)交通系統(tǒng)：( Intelligent Transport Systems, ITS)共七十一頁車輛檢測與跟蹤(gnzng)概述影響車輛檢測和跟蹤的主要因素： （1）車輛自身陰影；（2）車

21、輛間相互遮擋或車輛被背景(bijng)中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對（1）、（2）兩種情況開展研究 共七十一頁算法(sun f)步驟 Step1 背景模型訓練，得到表示初始背景模型的碼本。Step2 輸入像素點和碼本做比較判斷，得到可能的前景像素點，同時更新碼本。Step3 去除可能前景像素點中陰影和高亮區(qū)域，得到真實的前景點，同時更新碼本。Step4 去噪，連通區(qū)域分析，根據(jù)檢測(jin c)出的運動目標的長寬消除非車輛目標，將運動車輛分割出來。 Step5 使用卡爾曼濾波器預測車輛在下一幀中的可能位置。Step6

22、在預測區(qū)域周圍對各個車輛進行匹配跟蹤。轉(zhuǎn)Step2，進行下一輪跟蹤。共七十一頁實驗(shyn)結(jié)果 （a）遮擋模型(mxng) （b）原始遮擋圖像 （c）分割處理后 （d）遮擋模型與運動目標匹配共七十一頁夜晚車輛(chling)檢測結(jié)果 共七十一頁普通(ptng)路面檢測結(jié)果 （a）序列某一幀 （b）混合高斯模型(mxng)檢測結(jié)果 （c）Bayes 決策檢測結(jié)果 （d）改進方法檢測結(jié)果共七十一頁高速公路(o s n l)檢測結(jié)果 （a）序列某一幀 （b）混合高斯模型(mxng)檢測結(jié)果 （c）Bayes 決策檢測結(jié)果 （d）改進方法檢測結(jié)果共七十一頁跟蹤(gnzng)結(jié)果 （a）序列第168幀跟蹤結(jié)果（b）序列第182幀跟蹤結(jié)果 （c）目標質(zhì)心(zh xn)在x方向的坐標 （d）目標質(zhì)心在y方向的坐標 共七十一頁主要(zh