human computer人機(jī)交互.docx

題目：基于人機(jī)交互的視線跟蹤系統(tǒng)指導(dǎo)教師：喻德曠一、 實(shí)驗(yàn)?zāi)康?、鞏固和加深對(duì)信號(hào)與系統(tǒng)、數(shù)字信號(hào)處理、圖像處理等相關(guān)課程的基本概念的理解； 2、了解和熟悉人機(jī)接口和視線跟蹤技術(shù)，提高知識(shí)拓展能力； 3、通過視線跟蹤應(yīng)用系統(tǒng)的設(shè)計(jì)、實(shí)現(xiàn)、調(diào)試與測(cè)試過程，提高知識(shí)綜合運(yùn)用能力，鍛煉實(shí)踐動(dòng)手能力；4、通過自主設(shè)計(jì)實(shí)驗(yàn)，培養(yǎng)提出問題、分析問題和解決問題及創(chuàng)新能力。二、 基本要求（需要的基本知識(shí)、最大選題人數(shù)、需要的完成時(shí)間等等）1、 具有扎實(shí)的課程基礎(chǔ)：信號(hào)與系統(tǒng)、數(shù)字信號(hào)處理、數(shù)字圖像處理、計(jì)算機(jī)接口技術(shù)等。2、 具有良好的程序設(shè)計(jì)基礎(chǔ)，能熟練使用Matlab、C+、VB、C#中的一種編程語言。3、 實(shí)驗(yàn)以小組形式實(shí)施，每組3-4人。三、 實(shí)驗(yàn)內(nèi)容（實(shí)驗(yàn)原理、實(shí)驗(yàn)步驟、選題范圍、時(shí)間安排等等）1、 實(shí)驗(yàn)原理此綜合實(shí)驗(yàn)主要是利用圖像處理技術(shù)進(jìn)行視線跟蹤，并在此基礎(chǔ)上完成一個(gè)簡(jiǎn)單的人機(jī)交互系統(tǒng)。視線跟蹤技術(shù)作為研究和利用眼睛動(dòng)作的一種重要手段，其應(yīng)用非常廣泛。像在軍事領(lǐng)域中進(jìn)行人的因素研究；在閱讀中進(jìn)行有關(guān)視覺加工的研究；在生物工程中進(jìn)行有關(guān)幫助殘疾人通訊的研究。其他應(yīng)用像注意力分析、虛擬現(xiàn)實(shí)、人機(jī)交互等等。本實(shí)驗(yàn)的核心是視線跟蹤，視線追蹤的基本工作原理是利用圖象處理技術(shù)，通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)地記錄視線變化，從而達(dá)到記錄分析視線追蹤過程的目的?？傮w框圖如下：頭部圖像采集系統(tǒng)圖像濾波預(yù)處理光斑、瞳孔識(shí)別視線、視點(diǎn)位置計(jì)算參數(shù)校驗(yàn)、參數(shù)確定人機(jī)交互界面獲取圖像基于圖像分析的視線跟蹤基本原理屏幕系統(tǒng)采用角膜反射原理。近紅外光源發(fā)出的光在用戶眼睛角膜上形成高亮度反射點(diǎn)，眼球是近似球體，在頭部位置固定的情況下，高亮度反射點(diǎn)不受眼球轉(zhuǎn)動(dòng)的影響，其圖像位置是不變。眼球轉(zhuǎn)動(dòng)時(shí)瞳孔位置發(fā)生改變，利用瞳孔中心和光斑的相對(duì)位置關(guān)系就可以確定視線方向。我們以3個(gè)LED與攝像機(jī)組成的眼部圖像采集為例說明基于圖像分析的視線跟蹤的實(shí)現(xiàn)原理。OP照相機(jī)注視點(diǎn)LED1LED2LED3瞳孔中心光斑1曲率中心光斑3光斑2上圖為視線跟蹤示意圖，屏幕上放置3個(gè)近紅外LED和1個(gè)攝像頭，其中1個(gè)LED和攝像頭放置在一起。3個(gè)LED在圖像上形成3個(gè)光斑，通過這3點(diǎn)可以找到曲率中心O。P瞳孔G3G2G1 上圖左側(cè)是瞳孔與光斑的成像示意圖，右側(cè)是實(shí)際成像圖。3個(gè)光斑在圖像上形成3個(gè)亮點(diǎn)（G1、G2、G3），其中點(diǎn)G1到點(diǎn)G3的長(zhǎng)度與瞳孔到屏幕之間的距離對(duì)應(yīng)關(guān)系，通過點(diǎn)G1到點(diǎn)G3的長(zhǎng)度可以確定瞳孔到屏幕之間的距離。如上圖，黑色為實(shí)際屏幕，位于xoy平面上，藍(lán)色方框是圖像平面所對(duì)應(yīng)的實(shí)際平面。當(dāng)我們知道兩平面之間的距離后，圖像坐標(biāo)中的點(diǎn)G1、G2、G3和P就可以由二維坐標(biāo)變成了三維坐標(biāo)。這樣，視線跟蹤簡(jiǎn)要過程如下：l 光斑點(diǎn)的檢測(cè)檢測(cè)出G1、G2、G3點(diǎn)之后，由G1G3確定觀察者與屏幕之間的距離。根據(jù)G1、G2、G3的坐標(biāo)及觀察者與屏幕之間的距離計(jì)算出曲率中心O的坐標(biāo)值。l 瞳孔邊界點(diǎn)提取和瞳孔中心確定瞳孔經(jīng)光學(xué)系統(tǒng)在CCD成像為平面橢圓，所以對(duì)提取的邊緣點(diǎn)進(jìn)行橢圓最小二乘擬合鏈接成邊界，即可確定瞳孔中心位置。橢圓方程取為：橢圓擬合可求得橢圓方程的5個(gè)參數(shù)A、B、C、D 和 E，橢圓中心計(jì)算公式如下： l 視線方向、視點(diǎn)計(jì)算瞳孔中心坐標(biāo)及曲率中心坐標(biāo)確定后，可以通過計(jì)算或通過建立映射得到注視點(diǎn)的位置。映射關(guān)系的建立（參考）：瞳孔中心與曲率中心的位移，注視點(diǎn)的坐標(biāo)為，其中為0。通過校驗(yàn)建立兩者之間的對(duì)應(yīng)關(guān)系2、 實(shí)驗(yàn)步驟（1） 文獻(xiàn)閱讀和開題報(bào)告小組所有成員查閱視線跟蹤和人機(jī)接口相關(guān)的文獻(xiàn)和資料，每人撰寫開題報(bào)告，討論后形成統(tǒng)一的開題報(bào)告。（2） 系統(tǒng)設(shè)計(jì)按分工合作的形式，以小組形式提交一份詳細(xì)的實(shí)驗(yàn)設(shè)計(jì)書，包括。系統(tǒng)設(shè)計(jì)書中l(wèi) 系統(tǒng)的總體設(shè)計(jì)和功能模塊框圖；l 頭部圖像采集模塊、視線跟蹤模塊和人機(jī)交互系統(tǒng)模塊的詳細(xì)設(shè)計(jì)、算法流程圖等；l 模塊和系統(tǒng)的調(diào)試和測(cè)試方案；l 實(shí)驗(yàn)所需設(shè)備和器件清單、實(shí)驗(yàn)預(yù)算；l 明確小組成員分工和任務(wù)。（3） 系統(tǒng)模塊功能實(shí)現(xiàn)分工實(shí)現(xiàn)如下功能：l 建立頭部圖像采集系統(tǒng)，包括硬件和軟件；l 視線跟蹤功能的實(shí)現(xiàn)；l 人機(jī)交互系統(tǒng)的實(shí)現(xiàn)。（4） 模塊調(diào)試與系統(tǒng)測(cè)試l 調(diào)試和測(cè)試方案l 調(diào)試和測(cè)試過程記錄。3、 選題范圍（1） 基于視線跟蹤的信息輸入（2） 基于視線跟蹤的