手勢(shì)識(shí)別開(kāi)題報(bào)告

1、.基于手勢(shì)識(shí)別的移動(dòng)機(jī)器人基于手勢(shì)識(shí)別的移動(dòng)機(jī)器人控制研究控制研究碩士論文開(kāi)題報(bào)告碩士論文開(kāi)題報(bào)告.開(kāi)題報(bào)告主要內(nèi)容開(kāi)題報(bào)告主要內(nèi)容.人人-機(jī)器人交互方式：機(jī)器人交互方式：隨著智能機(jī)器人技術(shù)的發(fā)展，自然的、符合人類習(xí)慣的人機(jī)交互方式逐漸成為人們研究的熱點(diǎn)。選題背景與研究現(xiàn)狀選題背景與研究現(xiàn)狀傳統(tǒng)方式傳統(tǒng)方式鼠標(biāo)鍵盤手柄數(shù)據(jù)手套新型方式新型方式視覺(jué)語(yǔ)音力覺(jué) 觸覺(jué)這些在靈活性和實(shí)現(xiàn)精確控制方面存在限制符合人類交流習(xí)慣缺乏靈活性方便、直接、易于使用.選題背景與研究現(xiàn)狀選題背景與研究現(xiàn)狀國(guó)外：國(guó)外：英國(guó)Essex大學(xué)通過(guò)識(shí)別人臉，比較當(dāng)前人臉形狀和模板人臉形狀來(lái)估計(jì)人臉?lè)较颍瑥亩刂浦悄茌喴?。美?guó)CM

2、U機(jī)器人實(shí)驗(yàn)室實(shí)現(xiàn)了一種能夠按人體手勢(shì)及手臂動(dòng)作做出簡(jiǎn)單動(dòng)作的清掃機(jī)器人。2007年，Md.Al-Amin Bhuiyan等人研究的通過(guò)人臉及人臉角度控制機(jī)器人AIBO的動(dòng)作或者姿勢(shì)。2010年印度學(xué)者已經(jīng)實(shí)現(xiàn)應(yīng)用手勢(shì)遠(yuǎn)程控制機(jī)器人的運(yùn)動(dòng)狀態(tài)為前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)和停止五個(gè)狀態(tài)。國(guó)內(nèi)：國(guó)內(nèi)：天津大學(xué)研究了漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)并用來(lái)控制機(jī)器人。上海大學(xué)研究識(shí)別手勢(shì)系統(tǒng)并將其成功地用于遠(yuǎn)程機(jī)器人控制系統(tǒng)。天津大學(xué)實(shí)現(xiàn)了依據(jù)操作者的體態(tài)動(dòng)作圖像信息控制機(jī)器人的狀態(tài)。清華大學(xué)研究了一個(gè)手勢(shì)識(shí)別系統(tǒng)，選擇其中識(shí)別率較高的十種手勢(shì)類別作為人機(jī)互動(dòng)信號(hào)應(yīng)用于電腦游戲中代替手柄。.選題背景與研究現(xiàn)狀選題背景與研

3、究現(xiàn)狀人人-機(jī)器人交互方式實(shí)例機(jī)器人交互方式實(shí)例.選題背景與研究現(xiàn)狀選題背景與研究現(xiàn)狀語(yǔ)音方式：語(yǔ)音方式：適應(yīng)性差（語(yǔ)音學(xué)上的差異、生理上的差異及發(fā)音習(xí)慣的差異）、強(qiáng)噪聲干擾環(huán)境下語(yǔ)音技術(shù)面臨較大困難，很難將控制信號(hào)識(shí)別出來(lái)。視覺(jué)方式：視覺(jué)方式：手勢(shì)、體態(tài)、人臉姿態(tài)手勢(shì)適應(yīng)性強(qiáng)，最為直觀、方便、自然研究難點(diǎn)研究難點(diǎn)：手勢(shì)本身具有多樣性、多義性及時(shí)間和空間上的差異性；人手是復(fù)雜變形體；背景復(fù)雜時(shí)，很容易將非手勢(shì)區(qū)域誤認(rèn)為手勢(shì)區(qū)域，如何去除非手部分。.研究?jī)?nèi)容研究?jī)?nèi)容 本課題以輪式移動(dòng)機(jī)器人為實(shí)驗(yàn)平臺(tái)，通過(guò)單個(gè)攝像頭對(duì)本課題以輪式移動(dòng)機(jī)器人為實(shí)驗(yàn)平臺(tái)，通過(guò)單個(gè)攝像頭對(duì)手勢(shì)進(jìn)行識(shí)別，進(jìn)而完成對(duì)移動(dòng)機(jī)

4、器人的運(yùn)動(dòng)狀態(tài)控制。手勢(shì)進(jìn)行識(shí)別，進(jìn)而完成對(duì)移動(dòng)機(jī)器人的運(yùn)動(dòng)狀態(tài)控制。主要的研究?jī)?nèi)容可分為如下三個(gè)部分：主要的研究?jī)?nèi)容可分為如下三個(gè)部分：（1）建立本課題手勢(shì)模板庫(kù)分為訓(xùn)練集和測(cè)試集兩類，在VC+環(huán)境下調(diào)用OpenCV機(jī)器視覺(jué)庫(kù)實(shí)現(xiàn)對(duì)模板庫(kù)中不同背景下圖片手勢(shì)分割。（2）編寫(xiě)可視化軟件界面，并根據(jù)手勢(shì)輪廓、形狀或者紋理等提取手勢(shì)特征，應(yīng)用模式識(shí)別分類方法實(shí)現(xiàn)對(duì)手勢(shì)的分類及識(shí)別，并達(dá)到實(shí)時(shí)性，識(shí)別率達(dá)到95%以上。（3）應(yīng)用移動(dòng)機(jī)器人平臺(tái)，選取手勢(shì)模板庫(kù)中識(shí)別率最高的七種手勢(shì)作為移動(dòng)機(jī)器人的運(yùn)動(dòng)狀態(tài)控制信號(hào)，分別控制移動(dòng)機(jī)器人的前進(jìn)、后退、直線加速、直線減速、左轉(zhuǎn)、右轉(zhuǎn)和停止七種狀態(tài)。在不同實(shí)驗(yàn)

5、環(huán)境（如光照、背景）下，對(duì)系統(tǒng)進(jìn)行整體調(diào)試。.研究方案研究方案系統(tǒng)構(gòu)成圖系統(tǒng)構(gòu)成圖.研究方案研究方案手勢(shì)模板庫(kù)手勢(shì)模板庫(kù).手勢(shì)分割手勢(shì)分割:把圖像中的人手區(qū)域（前景）與其他區(qū)域（背景區(qū)域）劃分開(kāi)?；谀w色信息檢測(cè)方法主要步驟是顏色空間變換和膚色建模。研究方案研究方案手勢(shì)分割方法手勢(shì)分割方法膚色建模方法膚色建模方法閾值化閾值化（膚色范圍）（膚色范圍）參數(shù)化參數(shù)化（高斯密度函數(shù)估計(jì)）（高斯密度函數(shù)估計(jì)）所需存儲(chǔ)空間小所需存儲(chǔ)空間小需要考察所選顏色空需要考察所選顏色空間中膚色分布的形態(tài)間中膚色分布的形態(tài)學(xué)習(xí)速度快學(xué)習(xí)速度快非參數(shù)化非參數(shù)化（統(tǒng)計(jì)直方圖）（統(tǒng)計(jì)直方圖）皮膚紋理檢測(cè)皮膚紋理檢測(cè)基于統(tǒng)計(jì)模

6、型方法基于統(tǒng)計(jì)模型方法（局部二值模式，（局部二值模式，LBP）基于信號(hào)處理方法基于信號(hào)處理方法（傅里葉變換或者小波變換）（傅里葉變換或者小波變換）簡(jiǎn)單易行簡(jiǎn)單易行選擇合適的顏色空間選擇合適的顏色空間需要大量統(tǒng)計(jì)樣本需要大量統(tǒng)計(jì)樣本需要存儲(chǔ)空間大需要存儲(chǔ)空間大是一種表述灰度圖像某像素點(diǎn)與周圍像素點(diǎn)大小關(guān)系的二進(jìn)制描述.研究方案研究方案特征提取方法特征提取方法手勢(shì)特征手勢(shì)特征:能刻畫(huà)手勢(shì)的本質(zhì)特征，要求對(duì)目標(biāo)的位移、旋轉(zhuǎn)及尺度縮放具有不變性。全局幾何特征全局幾何特征變換域幾何特征變換域幾何特征緊密度緊密度區(qū)域形狀偏心率區(qū)域形狀偏心率區(qū)域形狀實(shí)心率區(qū)域形狀實(shí)心率矩函數(shù)矩函數(shù)小波描繪子小波描繪子傅里葉

7、描述子傅里葉描述子對(duì)幾何矩進(jìn)行非線性組合，得到一組對(duì)于圖像平移、旋轉(zhuǎn)、尺度縮放都不變矩物體邊界點(diǎn)集合，進(jìn)行傅立葉變換形狀特征形狀特征面積面積.研究方案研究方案分類方法分類方法手勢(shì)分類手勢(shì)分類:通過(guò)特定的方法將提取的被識(shí)別對(duì)象的特征信息歸為某一類別，從而實(shí)現(xiàn)手勢(shì)識(shí)別。分類方法分類方法模板匹配方法模板匹配方法基于統(tǒng)計(jì)理論方法基于統(tǒng)計(jì)理論方法歐式距離分類方法歐式距離分類方法最大最小距離最大最小距離（ Hausdorff Hausdorff距離）距離）神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法支持向量機(jī)支持向量機(jī)（SVMSVM）BoostingBoosting以及以及AdaBoostAdaBoost算法算法隨著維數(shù)的增

8、大，計(jì)算量會(huì)增大，準(zhǔn)確度也會(huì)下降學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，甚至可能達(dá)不到學(xué)習(xí)的目的；體系結(jié)構(gòu)通用性差；推廣性差可能出現(xiàn)過(guò)分配避免過(guò)學(xué)習(xí)、維數(shù)災(zāi)難、局部極小等問(wèn)題.研究方案研究方案控制部分控制部分UP-Voyager IIA移動(dòng)機(jī)器人移動(dòng)機(jī)器人硬件通訊層完成軟件與硬件之間的數(shù)據(jù)交互工作將硬件指令解析換算成控制算法中數(shù)據(jù)變量；調(diào)用控制函數(shù)生成對(duì)應(yīng)的硬件控制指令UP-Voyager系統(tǒng)數(shù)據(jù)流系統(tǒng)數(shù)據(jù)流.第一步：第一步：獲取手勢(shì)圖像，建立手勢(shì)模板庫(kù)，并分為訓(xùn)練集及測(cè)試集兩個(gè)大類獲取手勢(shì)圖像，建立手勢(shì)模板庫(kù)，并分為訓(xùn)練集及測(cè)試集兩個(gè)大類實(shí)驗(yàn)方案設(shè)計(jì)實(shí)驗(yàn)方案設(shè)計(jì)第二步：第二步：利用膚色信息和紋理特征完成手勢(shì)分割利用膚

9、色信息和紋理特征完成手勢(shì)分割第三步：第三步：利用不變矩和傅里葉描述子方法得到特征向量利用不變矩和傅里葉描述子方法得到特征向量第四步：第四步：利用訓(xùn)練集應(yīng)用支持向量機(jī)的方法進(jìn)行訓(xùn)練，然后測(cè)試手勢(shì)識(shí)別效果利用訓(xùn)練集應(yīng)用支持向量機(jī)的方法進(jìn)行訓(xùn)練，然后測(cè)試手勢(shì)識(shí)別效果第五步：第五步：應(yīng)用輪式移動(dòng)機(jī)器人平臺(tái)進(jìn)行實(shí)驗(yàn)，驗(yàn)證手勢(shì)識(shí)別的實(shí)時(shí)控制性能應(yīng)用輪式移動(dòng)機(jī)器人平臺(tái)進(jìn)行實(shí)驗(yàn)，驗(yàn)證手勢(shì)識(shí)別的實(shí)時(shí)控制性能. 在VC+環(huán)境中編寫(xiě)程序，能夠?qū)崟r(shí)對(duì)采集的視頻圖像完成手勢(shì)分割及特征提取； 利用手勢(shì)模板庫(kù)應(yīng)用支持向量機(jī)方法完成對(duì)手勢(shì)特征的學(xué)習(xí)，實(shí)現(xiàn)對(duì)視頻實(shí)時(shí)手勢(shì)識(shí)別，達(dá)到“速度快，精度高”； 在不同實(shí)際環(huán)境下，能夠利用

10、定義的手勢(shì)控制移動(dòng)機(jī)器人的七種運(yùn)動(dòng)狀態(tài)； 發(fā)表一至二篇EI學(xué)術(shù)論文。預(yù)期成果預(yù)期成果. (1) 本人對(duì)VC+運(yùn)行環(huán)境和C+語(yǔ)言都有一定的基礎(chǔ)； (2) 本人曾學(xué)習(xí)過(guò)相關(guān)圖像處理知識(shí)，寫(xiě)過(guò)相關(guān)圖像處理程序； (3) 實(shí)驗(yàn)室在圖像處理方面的研究已取得相當(dāng)多的積累與成績(jī)；研究基礎(chǔ)研究基礎(chǔ)簡(jiǎn)單背景閾值分割手勢(shì)簡(jiǎn)單背景閾值分割手勢(shì).利用傅里葉變換得到的相關(guān)利用傅里葉變換得到的相關(guān)特征參數(shù)：特征參數(shù)：0.034551;0.070123;0.038968;0.042986;0.003900;0.017425;0.010688;0.007627;0.010348;0.007532;研究基礎(chǔ)研究基礎(chǔ) 實(shí)驗(yàn)室已經(jīng)具備條件：實(shí)驗(yàn)室已經(jīng)具備條件：（1 1）計(jì)算機(jī)）計(jì)算機(jī)（2 2）輪式移動(dòng)機(jī)器人）輪式移動(dòng)機(jī)器人（3 3）機(jī)器人控制器）機(jī)器人控制器（4 4）數(shù)字）數(shù)字CCDCCD攝像機(jī)攝像機(jī) （5 5）開(kāi)發(fā)軟件）開(kāi)發(fā)軟件.進(jìn)度安排進(jìn)度安排2011年5月2011年6月 查閱資料，完成開(kāi)題報(bào)告。2011年7月2011年8月 準(zhǔn)備資料，學(xué)習(xí)相關(guān)知識(shí)，并建立相關(guān)手勢(shì)庫(kù)2011年9月2012年3月 通過(guò)編程完成對(duì)標(biāo)準(zhǔn)手勢(shì)庫(kù)的訓(xùn)練，初步實(shí)現(xiàn)手勢(shì)識(shí)別，并通過(guò)實(shí)驗(yàn)提