基于睡意檢測的安全駕駛保障系統(tǒng)(PCA+K近鄰).doc

基于睡意檢測的安全駕駛保障系統(tǒng)研究與設(shè)計摘要隨著社會的不斷發(fā)展，汽車成為了我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?，但也帶來了每年?shù)以百萬計的交通事故，造成了無數(shù)傷亡，在給人們帶來了巨大傷痛的同時也使許多美好的家庭毀于一旦。調(diào)查顯示，疲勞駕駛是交通事故高發(fā)的原因之一。此前，已有諸多專家參與疲勞駕駛監(jiān)控的研究，但迄今為止，市場上并沒有一個成型的可靠的產(chǎn)品。因此，開發(fā)一套車載的、實(shí)時的、適用的、非接觸式的安全駕駛保障系統(tǒng)已成為目前解決疲勞駕駛迫在眉睫的問題?；谒鈾z測的安全駕駛保障系統(tǒng)是將程序與硬件相結(jié)合，對駕駛員進(jìn)行非接觸的面部圖像分析，從中提取有效的特征信息，以辨別駕駛員是否處于疲勞狀態(tài)的一件產(chǎn)品。本系統(tǒng)主要實(shí)現(xiàn)了將人臉人眼檢測技術(shù)應(yīng)用于駕駛員疲勞監(jiān)測的方法，并根據(jù)監(jiān)測結(jié)果，及時給出疲勞狀態(tài)預(yù)警，降低由此引發(fā)的諸多交通事故的概率。關(guān)鍵字：Myeclipse、PCA、距離哈希K近鄰、Java與MATLAB混合編程、Haar分類器、表情識別1 前言近年來，隨著人們生活水平的提高、城市化的加速以及經(jīng)濟(jì)的快速發(fā)展，汽車進(jìn)入了我們的日常生活并成為我們出行最便利的交通工具之一，給我們提供了極大的方便。但是與此同時也帶了很多的問題，其中之一便是交通事故發(fā)生量居高不下。據(jù)世界衛(wèi)生組織統(tǒng)計，全世界每年有120多萬人死于交通事故，數(shù)百萬人受傷或致殘。全球每年交通事故造成的經(jīng)濟(jì)損失高達(dá)5180億美元，其中發(fā)展中國家占1000億美元。同時有資料表明，高速公路發(fā)生的交通事故中，有50%以上是由于長時間疲勞駕駛或所見目標(biāo)單調(diào)使司機(jī)注意力不集中、甚至打瞌睡等原因造成的。要降低交通意外的發(fā)生，最重要的一個途徑就是防止駕駛員疲勞駕駛。而要防止疲勞駕駛，最重要的一點(diǎn)是要時刻監(jiān)測著駕駛員的精神狀況。從人體疲勞特征的研究結(jié)果看，疲勞駕駛的典型反應(yīng)包括：眼簾的頻繁眨動；瞳孔逐漸變小，甚至閉合；哈欠增多；頭部前傾或后仰；方向盤微調(diào)，駕車左右搖擺；反應(yīng)能力下降等。目前，已有一些簡單實(shí)用的疲勞測評方法，如腦電圖EEG、肌電圖EMG、眼動圖EOG、瞳孔測量計等，但這些方法都是接觸式的疲勞檢測方法，勢必會給駕駛員造成一定的影響。為了盡量減少對駕駛員的影響，采取的疲勞檢測方法最好是非接觸式的。通過攝像頭捕捉駕駛員的動作特征來檢測駕駛員的精神狀況，則是最好的非接觸式檢測方法，因?yàn)樵谲噹麅?nèi)安裝監(jiān)控攝像頭對駕駛員幾乎是沒有影響的。從以上各種疲勞駕駛典型反應(yīng)來看，每個人的疲勞反應(yīng)多種多樣，所以僅僅監(jiān)測一種疲勞反應(yīng)是遠(yuǎn)遠(yuǎn)不夠的。再者，每個人做出的同一種疲勞反應(yīng)又是不同的，因此為了提高系統(tǒng)的精確度，應(yīng)該將所有因素考慮在內(nèi)。而本系統(tǒng)就是基于這種想法來設(shè)計的，它不僅僅是監(jiān)測眼睛等單個臉部器官的變化，而是監(jiān)測了整個臉部的表情，并且排除了個體差異的影響因素，最重要的一點(diǎn)是它是通過嚴(yán)格的算法來分析判斷駕駛員的精神狀況，這在一定程度上大大提高了系統(tǒng)的準(zhǔn)確性和穩(wěn)定性。2 系統(tǒng)方案2.1圖像處理器方案方案一：使用arm和嵌入式操作系統(tǒng)來實(shí)現(xiàn).雖然arm的速度比較快，達(dá)到將近500Mhz，但是由于用于圖像處理的算法比較復(fù)雜，浮點(diǎn)運(yùn)算比較多，而大部分arm處理器沒有硬件浮點(diǎn)運(yùn)算器，浮點(diǎn)運(yùn)算靠的是軟件，這樣會對系統(tǒng)的實(shí)時性造成很大的影響。方案二：使用DSP。DSP由于具備硬件浮點(diǎn)運(yùn)算器，速度能大大提高，DSP在圖像處理方面相當(dāng)強(qiáng)大，但DSP的開發(fā)難度相對比較大，成本較高。而且有些在計算機(jī)平臺上的關(guān)于視覺識別的函數(shù)庫要移植到DSP上的話，工作量相對來說會比較大。方案三：使用PC機(jī)。PC機(jī)的運(yùn)算能力足夠快，內(nèi)存空間也足夠大，符合圖像處理對要求。而且在PC平臺上，有不少關(guān)于圖像處理和視覺識別方面的函數(shù)庫可以去調(diào)用，這樣可以大大地減輕了開發(fā)難度，同時也可以減少開發(fā)成本。因此用PC機(jī)就可以滿足要求了。綜合以上方案，使用電腦處理是最好的選擇。2.2軟件方案方案一：采用模式識別的方式在圖像中尋找眼睛的位置，然后使用Gabor濾波器的特征提取算法，即將Gabor濾波器與眼睛圖像進(jìn)行卷積，提取特征矢量：Gabor特征。然后，對高維空間中的Gabor特征通過特征選擇和壓縮的方法投影到低維空間中。再與訓(xùn)練好的人眼數(shù)據(jù)進(jìn)行比較，采用k均值距離分類器進(jìn)行分類，從而判斷出眼睛的開合度。方案二：采用模式識別的方式在圖像中先找出人臉的位置，并對人臉進(jìn)行追蹤，在歸一化后的人臉圖中根據(jù)眼睛和嘴巴在臉部的相對位置，基本能找出眼睛和嘴巴的位置。再對人臉圖像進(jìn)行PCA特征提取，得到一系列可用于分析的參數(shù)，再對這些數(shù)據(jù)進(jìn)行主成分分析并提取，最后與樣本庫中的數(shù)據(jù)進(jìn)行匹配并運(yùn)用距離哈希K近鄰分類算法來判定駕駛員的狀態(tài)。由于人臉在整個圖像中所占的比例比較大，追蹤起來比較容易，檢測的準(zhǔn)確率相對比較高。而通常駕駛員在駕駛的過程中頭部擺動的角度都比較小的，因此人臉定位可以做到很精準(zhǔn)。而如果用模式識別找眼睛的話，對眼睛的樣本要求比較嚴(yán)格，而且在測試過程中發(fā)現(xiàn)，對于不同測試者的眼睛，分類所得的結(jié)果起伏比較大，穩(wěn)定性沒有二值化處理的好。再次，Gabor特征提取的速度比較慢，而眨眼的時間卻很短，容易漏判，而PCA特征提取能解決此問題。綜上所述，我們采用第二種方案。2.3 整體方案系統(tǒng)通過攝像頭來獲取像素為256*256，幀速率為每秒15幀的影像后，傳送給計算機(jī)。計算機(jī)在圖像中用Haar分類器自動追蹤到人臉，之后把截得到的人臉圖像進(jìn)行大小歸一化處理，再對每張圖像進(jìn)行PCA特征提取，并將提取到的特征與事先已存好的特征樣本進(jìn)行逐一對比和匹配，再通過K近鄰算法判別出當(dāng)前圖像是否出現(xiàn)了疲勞狀態(tài)。這樣就可以比較科學(xué)地判斷出人的精神狀態(tài)，提前對駕駛員將要出現(xiàn)的困倦進(jìn)行預(yù)警。2.4 特色1、 對整個臉部表情進(jìn)行監(jiān)測，考慮了疲勞典型反應(yīng)的多方面，提高了準(zhǔn)確度。2、 利用Haar特征分類器自動跟蹤人臉，使人臉定位更精確。3、 考慮了個體差異因素，每個駕駛員都可將自己的疲勞狀態(tài)存到庫中并在實(shí)際應(yīng)用中用于匹配，降低了誤判率。3 實(shí)現(xiàn)原理本系統(tǒng)的實(shí)現(xiàn)原理如下：首先通過攝像頭拍攝多張駕駛員疲勞狀態(tài)和非疲勞狀態(tài)的照片，然后通過Myeclipse結(jié)合MATLAB對圖像進(jìn)行歸一化處理。處理完后將駕駛員的疲勞和非疲勞的兩種狀態(tài)的特征經(jīng)過PCA算法分別提取出來，并存到相應(yīng)的庫中作為樣本。當(dāng)系統(tǒng)進(jìn)入工作狀態(tài)對駕駛員進(jìn)行疲勞監(jiān)測時，攝像頭可以將駕駛員駕車時的狀態(tài)錄制下來并將采集的視頻分成一幀幀的圖像進(jìn)行保存，然后系統(tǒng)會對所有的圖像進(jìn)行特征提取并將這些特征存到另外的庫中與樣本庫中的特征進(jìn)行對比，將對比之后的結(jié)果通過K近鄰算法提取出有用的數(shù)據(jù)，再對這些數(shù)據(jù)進(jìn)行分析，最后判別出駕駛員是否處于疲勞狀態(tài)。當(dāng)駕駛員處于疲勞狀態(tài)時，系統(tǒng)會自動地作出相應(yīng)的警告。3.1 JMF視頻捕捉技術(shù)JMF是一個標(biāo)準(zhǔn)的擴(kuò)展框架，允許用戶制作純音頻流和視頻流。JMF技術(shù)提供了先進(jìn)的媒體處理能力，從而擴(kuò)展了Java平臺的功能。這些功能包括：媒體捕獲、壓縮、流轉(zhuǎn)、回放，以及對各種主要媒體形式和編碼的支持，如M-JPEG、H.263、MP3、RTP/RTSP (實(shí)時傳送協(xié)議和實(shí)時流轉(zhuǎn)協(xié)議)、Macromedias Flash、IBM的HotMedia和Beatniks的Rich Media Format (RMF)等。JMF捕獲媒體數(shù)據(jù)需要做以下工作：1.定位所需要用的捕獲設(shè)備，可以通過查詢CaptureDeviceManager來定位。2.獲取這個捕獲設(shè)備的信息CaptureDeviceInfo對象。3.從CaptureDeviceInfo對象中獲取捕獲設(shè)備的位置Medialocator。4.利用MediaLocator創(chuàng)建DataSource。5.使用DataSource創(chuàng)建Player或是Processor。6.然后啟動Player就開始了媒體的捕獲。3.2 MATLAB簡介Matlab是美國MathWorks公司推出的一款可視化的數(shù)值計算軟件，有強(qiáng)大的數(shù)值計算、矩陣計算和圖形圖像處理等功能。Matlab可以十分方便的進(jìn)行矩陣運(yùn)算，且?guī)в写罅康膱D像處理函數(shù)，十分適合于圖像編程，但他不適用于通用平臺，限制了他的應(yīng)用。Java是一種可靠穩(wěn)定、跨平臺、面向?qū)ο蟮恼Z言。在圖像處理方面，Java提供的類只能完成諸如圖像加載、顯示等簡單的操作。如果能夠在Java中調(diào)用Matlab函數(shù)就可以克服各自的缺點(diǎn)，快速、高效的開發(fā)圖像處理應(yīng)用程序。3.3 Java與Matlab混合編程在Java中調(diào)用Matlab有三種方式：利用CORBA（CommonObjectRequestBrokerArchitecture）連接、利用JNI（JavaNativeInterface）連接、利用Matlab的Com Builder連接。使用CORBA連接十分復(fù)雜，開發(fā)效率低；使用JNI連接，必須針對不同的操作系統(tǒng)編寫應(yīng)用程序，且必須運(yùn)行在安裝有Matlab的系統(tǒng)中；而使用Com Builder連接則十分簡單，具有跨平臺優(yōu)勢，只要系統(tǒng)安裝有Matlab組件即可，因而成為首先的連接方式。在Matlab2000a以上的版本中又在Com Builder的基礎(chǔ)上開發(fā)出MATLAB Builder for Java（又叫Java Builder），可以直接把MATLAB函數(shù)包裝到一個或多個Java類，進(jìn)一步方便了Java對Matlab的調(diào)用。本系統(tǒng)則采用的第三種方式。3.4 基于PCA的表情識別3.4.1 表情特征的提取對于一幅32x32的圖像來說，其完整的特征信息是一個1024維的向量，每維上的分量是其對應(yīng)像素點(diǎn)的灰度值。顯然，對于一幅圖像，使用其灰度值作為特征在識別效率上是不可行的。對于一幅人臉圖像來說，最能體現(xiàn)其表情特征的區(qū)域是嘴巴和眼睛。若能提取表情最顯著的特征，識別效率將有很大的提升。而提取特征的一種簡單有效的方法就是主成分分析（PCA）。主成分分析（PCA）被認(rèn)為是線性代數(shù)最有價值的應(yīng)用之一，這是一種從混亂數(shù)據(jù)集中提取相關(guān)信息的簡單的非參數(shù)方法。只需較小的努力，PCA就能對復(fù)雜數(shù)據(jù)集進(jìn)行降維并揭示數(shù)據(jù)集中某些潛在的隱含信息。這些隱含的信息就是描述對象的最顯著特征。3.4.2 基于PCA的特征提取令Dmn，那么一幅mn的人臉圖像可表示成RD空間的一個向量，N幅人臉圖像組成的訓(xùn)練集X可表示為x1，x2，xN，即一個DN的矩陣，其中xixi1，xi2，xiDT。設(shè)X經(jīng)線性變換P得到Y(jié)，其中Y是MN矩陣，P是MD矩陣，那么：YPX令P的第i行為pi，X，Y的第i列分別為xi，yi，則：Y的每一行可表示為：從式上可以看出，在確定了邀p1，p2，PM妖后，xi，yi就形成了一一對應(yīng)的關(guān)系，可以用yi來表示xi，即yi是xi的重新表示。因?yàn)閥i是M維向量，xi是D維向量，在MD時，yi不僅是對xi的重新表示，更是達(dá)到了降維的效果，提取了xi的主要特征。進(jìn)一步，只選取邀p1，p2，pM妖中的部分向量與xi做點(diǎn)積來計算yi，如選擇其中對表情識別貢獻(xiàn)最大的J個向量，1JM。文中將JM稱為特征提取比率。3.4.3 主成分的選取P的行向量邀p1，p2，pM妖就是X的主成分6。能夠提取訓(xùn)練集X的部分特征來重新表示，是因?yàn)閄中存在冗余信息。這些冗余信息的存在是因?yàn)樘卣髦g存在相關(guān)性，而對相關(guān)性的最好度量就是協(xié)方差矩陣。令訓(xùn)練集X的均值為x：那么，X的協(xié)方差矩陣CX為：CX是DD的對稱矩陣，計算出CX的D個特征值邀1，2，D妖，不妨設(shè)12D，那么邀1，2，M妖對應(yīng)的特征向量邀p1，p2，pM妖即為X的主成分。3.4.4 特征匹配經(jīng)過主成分分析，一個原始向量xi可重新表示為一個維度更低的向量yi：這樣每一個原始對象xi都可重新表示成RM空間的一個向量。對原始對象的識別問題轉(zhuǎn)化為RM空間的最近鄰匹配問題?？刹扇『唵蔚腅uclidean距離來進(jìn)行相識度度量：E（yi，yj）為yi與yj的Euclidean距離，其值越小說明yi與yj越相似。或者采取Mahalanobis距離度量，可能會有更好的結(jié)果。3.5 距離哈希K近鄰分類為了提高最近鄰檢索的效率，避免在整個特征空間進(jìn)行最近鄰匹配，許多基于哈希的近似最近鄰檢索算法被提出。此類方法的根本思想是，通過哈希變換使相似的向量更可能有相同的哈希值。這樣只需與具有相同哈希值的向量進(jìn)行比較，就能以較高的概率檢索到其最近鄰。本文受VassilisAthitsos等提出的基于距離哈希（DistanceBasedHashing，簡稱DBH）近似最近鄰檢索算法的啟發(fā)，并針對表情識別這一實(shí)際應(yīng)用，提出基于距離哈希K近鄰分類算法來提高表情識別的效率。3.5.1 DBH簡介DBH的基本思想是創(chuàng)建l個長度為2k的哈希表，將每一個訓(xùn)練樣本分別插入到這l個哈希表中，將此哈希表作為檢索數(shù)據(jù)庫。DBH的關(guān)鍵是為每一個哈希表尋找一個哈希函數(shù)，即找到一個哈希函數(shù)族H1（X），H2（X），Hn（X），其中X是向量空間X中的一個量。在Athitsos等的論文中，Hi（X）為k個布爾子哈希函數(shù)的級聯(lián)值：而任意一個布爾子哈希hij（X）是在函數(shù)族HDBH（X）中隨機(jī)選取的一個函數(shù)：其中：D（Xi，Xj）為Euclidean距離，X1，X2是在X空間隨機(jī)選取的兩個向量且X1X2。3.5.2 DBH近似最近鄰檢索DBH近似最近鄰檢索由兩部分組成。預(yù)處理部分把表情特征插入到哈希表中，完成哈希表的構(gòu)建，如圖1所示。查詢部分計算待測表情的哈希值，并在相應(yīng)桶中進(jìn)行最近鄰檢索。詳細(xì)算法如下：（1）預(yù)處理選l個哈希函數(shù)Hi（X）hi1（X）hi2（X）hik（X），i1，2，l。其中hij（X）從函數(shù)族HDBH（X）中隨機(jī)選取。構(gòu)建l個哈希表。第i個哈希表使用函數(shù)Hi（X），將訓(xùn)練集中經(jīng)PCA提取的所有表情特征插入到相應(yīng)桶中。（2）對待測樣本Q的查詢對每一個i，從第i個哈希表的桶Hi（Q）中檢索出表情特征，i1，2，l。對每一個檢索出的表情特征，計算其與Q的距離，找出Q的最近鄰。圖1 DBH構(gòu)建的哈希表3.5.3 DBHKNN分類最近鄰算法在分類時僅考慮其最近鄰對分類的影響，易受噪聲點(diǎn)的影響。另外，在類別之間存在一定相似性時，只考慮最近鄰的影響勢必會造成錯誤的分類，如圖2所示。 （a）最近鄰分類的結(jié)果 （b）K近鄰分類的結(jié)果圖2 NN與KNN分類比較圖2中（a）是最近鄰分類的結(jié)果，點(diǎn)a被分為紅點(diǎn)所在的類別；（b）是K近鄰分類的結(jié)果，點(diǎn)a被分為綠點(diǎn)所在的類別。顯然（b）中的分類結(jié)果更為準(zhǔn)確。因此本文對基于距離哈希最近鄰檢索做了改進(jìn)，提出基于距離哈希K近鄰分類算法（簡稱DBHKNN分類）。采用K近鄰分類后，在分類相似類別時有較大的改進(jìn)。在表情識別中，驚訝與恐懼的表情具有一定相似性，即人們常說的“驚恐”。在采用K近鄰后，比最近鄰有更好的魯棒性，有效緩解了這兩種表情的相互錯分。DBHKNN分類算法同2.2中所述的DBH最近鄰檢索算法相似，用K近鄰算法替換其中的最近鄰算法即可。3.6 PCA特征提取和DBHKNN分類的混合人臉表情識別人臉表情識別由兩部分組成，訓(xùn)練部分完成特征庫的構(gòu)建，識別部分完成表情的分類。詳細(xì)算法如下：（1）訓(xùn)練使用PCA特征提取，構(gòu)建原始表情特征庫。使用DBH創(chuàng)建l個哈希表，將原始表情特征庫轉(zhuǎn)化為一個新的結(jié)構(gòu)化的表情特征庫。（2）識別使用PCA提取待測表情圖像的特征。使用DBH計算待測表情的哈希值，在每個哈希表中檢索出與其具有相同哈希值的表情特征。針對中檢索出的表情特征，使用KNN分類算法對待測表情進(jìn)行分類。4 系統(tǒng)構(gòu)建和界面介紹4.1 系統(tǒng)構(gòu)建本系統(tǒng)是以Myecilpse為開發(fā)平臺，所使用的編程語言為java。程序完成人臉圖像的采集、檢測、預(yù)處理、特征提取、特征分析、狀態(tài)判斷，并根據(jù)檢測結(jié)果在界面上作出相應(yīng)措施示意的全過程。由于Java代碼具有平臺無關(guān)、內(nèi)存操作方便和功能強(qiáng)大的特點(diǎn)，所以能夠彌補(bǔ)圖像處理中數(shù)據(jù)量大、操作復(fù)雜、耗時長等帶來的不便。再加上利用已開發(fā)好的關(guān)于圖像處理的庫函數(shù)，程序的效率更高，開發(fā)周期更短，系統(tǒng)更穩(wěn)定。本系統(tǒng)運(yùn)行測試的建立環(huán)境為：1、圖像采集：普通USB攝像頭2、圖像分別率：256*256（即攝像頭監(jiān)視區(qū)域大?。?、CPU：P4 3.0G以上4、內(nèi)存：512MB以上5、軟件開發(fā)平臺：Myeclipse4.2 界面介紹本系統(tǒng)的界面是用java代碼的gui知識制作界面的，以下為系統(tǒng)的界面介紹：1、 首先進(jìn)入歡迎界面，歡迎界面將引導(dǎo)用戶如何體驗(yàn)系統(tǒng)。截圖：2、 當(dāng)用戶按下歡迎界面的開始體驗(yàn)按鈕，則彈出提示框，提示用戶開始拍攝多張自己的疲勞狀態(tài)照片和非疲勞狀態(tài)照片當(dāng)作樣本存入樣本庫中。按下確定按鈕之后則進(jìn)入拍照界面，當(dāng)用戶拍完照片之后則退出該界面，并返回歡迎界面。截圖：3、 此時再按下歡迎界面的開始錄制按鈕，則會開始進(jìn)行視頻采集，如果表情識別結(jié)果判定為疲勞，系統(tǒng)則會作出相應(yīng)的報警。截圖：5 系統(tǒng)測試本實(shí)驗(yàn)分別以針對某一特定個體采集的JAFFE庫和個性化庫進(jìn)行試驗(yàn)。JAFFE庫則是樣本庫，此庫中保存著駕駛員處于疲勞狀態(tài)和非疲勞兩種狀態(tài)的特征圖像，每張圖片大小為256*256。為了提高算法的時間效率，所有圖片均采用金字塔算法向下采樣為128*128的圖片。而個性化庫中則保存著駕駛員駕車時的所有圖像，這部分圖像都是通過攝像頭實(shí)時采集的，因此此庫中