電子科技大學(xué)-人機(jī)交互總結(jié)

1、電子科技大學(xué) 人機(jī)交互復(fù)習(xí)總結(jié)人機(jī)交互概念 ：人機(jī)交互是研究人、計算機(jī)以及它們相互影響的技術(shù)。狹義的講，主要是研 究兩者之間的信息交換，它主要包括人到計算機(jī)和計算機(jī)到人的信息交換兩部分。人機(jī)界面 : 計算機(jī)與人之間通信和對話的接口， 它作為計算機(jī)系統(tǒng)的重要組成部分， 主要是 指人類與計算機(jī)系統(tǒng)之間的通信方式，它是人機(jī)雙向信息交換的支持軟件和硬件。人機(jī)交互 VS 人機(jī)界面：人際交互是指用戶與計算機(jī)系統(tǒng)之間的通信， “交互 ”定義為一種通信， 即雙向的信息交 換。人機(jī)界面指人類用戶與計算機(jī)系統(tǒng)之間的通信媒體或手段。 是人機(jī)雙向信息交換的支持 軟件和硬件， “界面”定義為通信的媒體或手段，物化體現(xiàn)是

2、有關(guān)的支持軟件和硬件。人機(jī) 界面也稱為用戶界面。人機(jī)交互通過一定的人機(jī)界面來實現(xiàn)， 在界面開發(fā)過程中， 有時把他們作為同義詞使用。發(fā)展歷程：命令行界面（CLI）圖形用戶界面（GUI），也稱WIMP界面多通道人機(jī)界面（MMI）發(fā)展趨勢： 強(qiáng)調(diào)“以人為本 ”， “自然、和諧 ”的交互方式，交互技術(shù)圍繞集成化（多樣化、 多通道）、網(wǎng)絡(luò)化（在不同設(shè)備、不同網(wǎng)絡(luò)、不同平臺之間的無縫過度和擴(kuò)展，在任何地方 用多種簡單的自然方式進(jìn)行人機(jī)交互） 、智能化（非精確的信息交流，使人機(jī)之間的交互像 人與人交互一樣自然、方便） 、標(biāo)準(zhǔn)化（制定國際標(biāo)準(zhǔn)）展開。人機(jī)交互的范疇 ： 2-指導(dǎo)哲學(xué) 3-相互交叉和滲透 1-實

3、現(xiàn)技術(shù)【認(rèn)知心理學(xué)： 研究人的高級心理過程， 主要是認(rèn)知過程。 從心理學(xué)的觀點研究人機(jī)交 互的原理。人機(jī)工程學(xué)：運(yùn)用生理學(xué)、心理學(xué)和醫(yī)學(xué)研究人、機(jī)器、環(huán)境相互間的合理關(guān)系，保證 人安全、健康、舒適的工作，提高整個系統(tǒng)工效的新興邊緣學(xué)科。分為硬件和軟件兩方面。虛擬現(xiàn)實：真實感、沉浸感和交互性。 自然和諧的人機(jī)交互是虛擬現(xiàn)實的一個研究內(nèi)容。 多媒體：輸入 -將文字、聲音、圖形、圖像集成在一起，多模態(tài)多通道輸入。輸出-引入動畫、音頻、視頻等動態(tài)媒體，豐富表現(xiàn)信息的形式，提高用戶接收信息的效率。更直觀。 信息處理 -多媒體信息融合，單一媒體的分析處理。人工智能：多通道系統(tǒng)力求對語義的理解。側(cè)重于信息的

4、理解與解釋。 軟件工程：軟件的設(shè)計、實現(xiàn)、測試、開發(fā)管理】人機(jī)交互的三元素 ：人 （指導(dǎo)哲學(xué) ）、交互設(shè)備、交互軟件 人機(jī)交互的研究內(nèi)容： 多種獨立模態(tài)的交互技術(shù)、智能用戶界面（多模態(tài)信息融合 ）、虛擬現(xiàn)實中的人機(jī)交互（3D交互）人機(jī)交互模型： 對人機(jī)交互系統(tǒng)中的 交互機(jī)制 進(jìn)行描述的結(jié)構(gòu)概念模型Norman執(zhí)行-評估模型：一個直觀的交互模型，分為執(zhí)行和評估兩個階段， 通常由7步構(gòu)成： 建立目標(biāo)， 形成意圖， 動作描述， 執(zhí)行動作， 理解系統(tǒng)狀態(tài)， 解釋系統(tǒng)狀態(tài)， 評估系統(tǒng)狀態(tài)。 該模型指出了交互過程的某些特點，有助于在概念上理解交互過程，但完全以用戶為中心， 對于計算機(jī)系統(tǒng)而言僅僅考慮到系統(tǒng)

5、的界面部分，因此是不完整的模型。運(yùn)行鴻溝：用戶意圖與允許的行為之間的不匹配。 評估鴻溝：系統(tǒng)表示與用戶期望之間的不匹配。用戶概念模型：一種用戶能夠理解的系統(tǒng)描述，使用一組集成的構(gòu)思和概念，描述系統(tǒng)應(yīng)做什么、如何運(yùn)作、外觀如何等。分為基于活動的和基于對象的?；诨顒樱褐甘荆ò窗粹o）、對話（電話機(jī)器服務(wù)）、操作與導(dǎo)航（虛擬現(xiàn)實）和探索與 瀏覽（上網(wǎng)）。各類活動可以并存?；趯ο螅航缑姹葦M（桌面、電子表格，搜索引擎）、交互范型（我們在構(gòu)思交互設(shè)計時的某種主導(dǎo)思想或思考方式，設(shè)計時的靈感來源）界面比擬 是指采用“比擬”的方法將交互界面的概念模型與某個（或某些）物理實體之間的某些相似性體現(xiàn)在交互界面設(shè)計

6、中。GOMS預(yù)測模型：用戶與系統(tǒng)交互時使用的知識和認(rèn)知過程的模型，GOMS代表目標(biāo)、操作、方法、選擇規(guī)則。目標(biāo)：用戶要達(dá)到什么目的。操作：達(dá)到目標(biāo)使用的認(rèn)知過程和物理行為。方法：為達(dá)到目標(biāo)而采用的具體步驟。選擇規(guī)則：選擇具體方法。優(yōu)點：可以預(yù)測專家用戶如何使用一個系統(tǒng)，避免對用戶進(jìn)行可用性測試。能夠定量預(yù)測用戶執(zhí)行情況，從而對不同界面或系統(tǒng)進(jìn)行比較分析，有助于確定產(chǎn)品的有效性。缺點：無法預(yù)測普通用戶的使用情況。適用范圍有限，只適合分析數(shù)據(jù)錄入類型的計算機(jī)任務(wù)，而且只能預(yù)測專家級用戶的執(zhí)行情況，無法分析出錯的情況。交互框架模型：交互分為四個部分：系統(tǒng)、用戶、輸入和輸出，交互過程表現(xiàn)在信息在這四

7、個部分之間的流動和對信息描述方式的轉(zhuǎn)換上。交互周期中有四個階段：目標(biāo)建立、執(zhí)行、表示和觀察1. 用戶以用戶語言在頭腦中形成任務(wù)，并將任務(wù)翻譯成機(jī)器可以識別的“輸入語言”2. “輸入語言”被翻譯成能被系統(tǒng)直接執(zhí)行的一系列操作，即“核心語言”3. 將系統(tǒng)的當(dāng)前值以“輸出語言”的形式呈現(xiàn)出來。用戶觀察輸出，將其翻譯為用“用戶語言”表達(dá)的交互結(jié)果，與原目標(biāo)進(jìn)行比較和評價。圖形用戶界面模型：【圖3.3形用戶界面槪念欖型三個思想：桌面隱喻，即在界面中用人們熟悉的桌面上的物品來清楚的表現(xiàn)計算機(jī)可處理的能力。WIMP是組成圖形用戶界面的基本單元 直接操作以及所見即所得的界面多通道用戶界面的特點：使用多個感覺（

8、側(cè)重于多媒體信息的接受）和效應(yīng)（側(cè)重于交互過程中控制與信息輸入） 通道。兩者密不可分、相互配合，應(yīng)允許充分的并行協(xié)作的多通道協(xié)同配合。允許非精確的交互。允許使用模糊的表達(dá)手段可以避免不必要的認(rèn)知負(fù)荷，有利于提高交互活動的自然性與高效性。主張以充分性代替精確性。三維和直接操縱。人生活在三維空間，習(xí)慣于看、聽和操縱三維的客觀對象，并希望及時看到這種控制的結(jié)果。多通道的人機(jī)交互的自然性反應(yīng)了這種本質(zhì)的特點。交互的雙向性。人的感覺和效應(yīng)通道通常具有雙向性，多通道用戶界面使用戶避免通道切換，從而提高自然性和效率。交互的隱含性。追求交互自然性的多通道用戶并不需要用戶顯式的說明每個交互成分， 而是在自然的交

9、互過程中隱含的說明。虛擬現(xiàn)實交互的特點：立體感的視覺顯示置身于環(huán)境中的顯示動態(tài)的顯示以多種媒體和多種形式與計算機(jī)進(jìn)行交互閉環(huán)的交互方式用戶界面設(shè)計的一般原則：一致性（用語與用詞的一致性、 操作方法的一致性、界面格局的一致性、數(shù)據(jù)格式的一 致性、系統(tǒng)響應(yīng)的一致性）易用性容錯性（重要操作提醒、操作完整性檢測、輸入正確性校驗、命令執(zhí)行的回溯UNDO、自動糾正錯誤、拒絕執(zhí)行）易學(xué)性有效性（使用快捷鍵）美觀性反饋性（詞法級、語法級、語義級）針對性（對不同層次的用戶設(shè)計不同的操作環(huán)境）】WEB布局的設(shè)計原則： 邏輯性、一致性、新穎性和實用性、采用容易掃視的表達(dá)方法、清 晰表達(dá)網(wǎng)頁上的超鏈接交互設(shè)備輸入：鼠

10、標(biāo)、鍵盤、跟蹤球、操縱桿、觸摸屏、手寫板、光筆、數(shù)字化輸入板、手勢板、 三維輸入設(shè)備輸出：顯示器、打印機(jī)、揚(yáng)聲器數(shù)據(jù)交互：人通過輸入數(shù)據(jù)的方式與計算機(jī)進(jìn)行交流的一種方式，是人機(jī)交互的重要內(nèi)容與方式。數(shù)據(jù)交互的方式：問答式對話數(shù)據(jù)輸入交互、菜單選擇、填表、直接操縱、關(guān)鍵詞、條形碼、光學(xué)字符識別、聲音、圖像輸入設(shè)備：鍵盤、鼠標(biāo)（定位，單擊，釋放，雙擊，拖動）、跟蹤球、操縱桿、觸摸屏、手寫板、光筆、數(shù)字化輸入板、手勢板、三維輸入設(shè)備輸出設(shè)備：顯示器、打印機(jī)語音交互：研究人們?nèi)绾瓮ㄟ^自然的語音或機(jī)器合成的語音同計算機(jī)進(jìn)行交互的技術(shù)。它是一個多學(xué)科交叉的邊緣學(xué)科，需要語言學(xué)、心理學(xué)、工程和計算機(jī)技術(shù)等領(lǐng)

11、域的專業(yè)知識，不僅要對語音識另U和語音合成技術(shù)進(jìn)行研究，還要對人在語音通道下的交互機(jī)理、行為方式等進(jìn)行研究。語音識別和語音合成的相結(jié)合，即構(gòu)成一個“人機(jī)通信系統(tǒng)”。語音交互的優(yōu)缺點：優(yōu)點：人類最習(xí)慣的交流方式；認(rèn)知負(fù)荷?。ú恍枰L期占用注意力）；資源占用少（空 間和照明）；交互效率高（信息量大）；缺點：環(huán)境要求嚴(yán)（不能在噪聲環(huán)境中）；信息的模糊性；非結(jié)構(gòu)化；短暫性；記憶負(fù)荷大語音識別：是將音頻數(shù)據(jù)轉(zhuǎn)化成文本或其他形式的計算機(jī)可以處理的信息的技術(shù)。它的研究目的是讓機(jī)器“聽懂”人類的語言。語音識別分類：（1）孤立語音識別系統(tǒng)：以單字或單詞為單位的識別系統(tǒng)。連續(xù)語音識別系統(tǒng)：利用連續(xù)發(fā)語音詞表中相關(guān)

12、聯(lián)的幾個單字或單詞，識別之前對連續(xù)語音進(jìn)行切分，最后給出連續(xù)發(fā)音的識別結(jié)果。（自然語音最大特點是連續(xù)語音）（2）能識別詞匯量小于100個的稱為小詞匯量識別；大于100個的稱為中等詞匯量識別； 大于1000個的稱為大詞匯量識別。（3）特定人（SD）語音識別系統(tǒng)需要用戶完成一個建立特定個人語音檔案的過程，通過 朗讀事先準(zhǔn)備的文本，識別軟件為用戶創(chuàng)建符合用戶聲音和說話模式的語音模型。非特定人（SI ）語音識別系統(tǒng)針對多個用戶的使用而設(shè)計，無需建立個人語音庫，不必使用者訓(xùn)練就可以識別各種語音。特定人和非特定人語音識別系統(tǒng)之間的研究差距：語音學(xué)差異。不同地方的說話人發(fā)音有很大不同。生理差異。不同說話人會

13、造成語音頻譜特性不同。發(fā)音習(xí)慣與心理狀態(tài)差異。對說話的語音頻譜特性造成影響?！胺翘囟ㄈ?自適應(yīng)”是當(dāng)前眾多語音識別系統(tǒng)采用的使用框架。語音識別：模式匹配方法分為兩步：第一步，建立標(biāo)準(zhǔn)語音庫（標(biāo)準(zhǔn)語音模板），系統(tǒng)首先建立有若干訓(xùn)練語句的標(biāo)準(zhǔn)語音數(shù)據(jù)庫供訓(xùn)練者使用，即訓(xùn)練；第二步，將輸入的語音信號經(jīng)過處理后與標(biāo)準(zhǔn)語音模板相匹配，即識別，包括失真估計、識別決策和專家知識運(yùn)用；建立語音模板的方法：選擇一種識別方法，然后從輸入的語音信號中提取該方法要求的 語言特征參數(shù)，保存起來形成語音模板。模板匹配方法：概率統(tǒng)計方法（特征參數(shù)比較，失真測度最小判斷結(jié)果，失敗時，運(yùn)用 專家知識）。語音信號輸入T預(yù)處理_特

14、征分析 L模式匹配T識別決策 f識別輸出 與提取j準(zhǔn)模板專家如識三個技術(shù)模塊：特征提取、模式匹配、標(biāo)準(zhǔn)模板庫生成三模塊所涉及的技術(shù)：語音識別單元的選擇、特征數(shù)據(jù)類型的選擇、模式匹配方法與模 型訓(xùn)練技術(shù)語音識別單元： 單詞（句）單元、音節(jié)單元（漢字）、音素單元（西文）識別單元的分割技術(shù)：端點檢測技術(shù)（過零率和能量特征參數(shù)獲得分割精度） 特征參數(shù)提?。?語音識別：特征參數(shù)的比較和識別（1）特征提取：從語音信號中提取對語音識別有用的信息（根據(jù)語音單元特點提?。?）參數(shù)要求：最少特征表達(dá)信號，提高模式比較速度；最大限度不失真表示信號。模型訓(xùn)練：按照一定準(zhǔn)則，從大量已知模式中獲取表征該模式本質(zhì)特征的模

15、型參數(shù)的過 程；模式匹配：根據(jù)一定準(zhǔn)則，使未知模式與模型庫中的某一個模型獲得最佳匹配的過程。語音識別的后處理：語音信息處理在語音聲學(xué)信號識別的基礎(chǔ)上，利用語言學(xué)知識進(jìn)一步糾正識別錯誤；還能提供一定的反饋信息 給聲學(xué)信號識別系統(tǒng)，幫助聲學(xué)信號識別系統(tǒng)提高識別性能。語言信息處理方法：基于語料庫的統(tǒng)計方法、基于文法的語法分析方法語音識別方法： 模式匹配法（動態(tài)規(guī)劃方法 DP即動態(tài)時間規(guī)整 DTW）、統(tǒng)計概率模型 方法（隱馬爾科夫模型 HMM ）、人工神經(jīng)網(wǎng)絡(luò)方法 ANN三種語音識別方法比較：DTW方法優(yōu)點是保留語音序列的時序信息， 識別算法簡單有效。缺點是動態(tài)規(guī)劃（DP） 法計算量較大，不能進(jìn)行動態(tài)

16、訓(xùn)練，即不能用多次的發(fā)音來訓(xùn)練一個語音樣本， 只能采用多 套樣本。一般用于中小字表、特定人或孤立詞的語音識別系統(tǒng)中。HMM方法的特點是便于建立各種層次的語音識別基元（音素、音劃、字、詞組合句子）的語音模型，容易 綜合各種不同性質(zhì)的 參數(shù)信息（聲道參數(shù)、語法、語義、語音模型等），缺點是建模本身存在不完善性，對于語音信號的時序反映能力較低等。適合于非特定人、大字表、連續(xù)語音的識別。ANN技術(shù)在語音識別中主要用來完成分類工作，多用于小字表的分類識別。對于復(fù)雜 的識別問題（大字表、非特定人、噪聲環(huán)境等、神經(jīng)網(wǎng)絡(luò)方法普遍存在收斂緩慢、局部最優(yōu) 和推廣能力差的缺點。在端點檢測、非線性特征參數(shù)提取和預(yù)處理方

17、面，其效果和DTW類 似。語音合成：通過計算機(jī)把數(shù)字信息變成語音輸出，語音識別和語音合成是語音處理的互逆過程。實現(xiàn)途徑：存儲語言信號，需要時再重現(xiàn)（聲音還原）；讓機(jī)器像人類說話，模擬人的語言功能，完成內(nèi)容到聲音的實現(xiàn)過程。語音合成方法：波形編輯方式；參數(shù)編輯方式；按規(guī)則合成方式圖像識別的三個層次、關(guān)系圖像處理：對圖像進(jìn)行各種加工以改善視覺效果，輸入輸出均為圖像。圖像識別：對圖像中感興趣的目標(biāo)進(jìn)行監(jiān)測和測量，通過抽取客觀信息建立圖像的描述。圖像感知：在識別的基礎(chǔ)上，進(jìn)一步研究圖像中各目標(biāo)的性質(zhì)和聯(lián)系，得出對圖像內(nèi)容的理解和客觀場景的解釋，從而指導(dǎo)和規(guī)劃行動。關(guān)系：密切聯(lián)系，又有明顯區(qū)別， 主要體

18、現(xiàn)在輸入和輸出的關(guān)系上。圖像感知輸入一幅圖像，輸出對該圖像的解釋。圖像處理的輸入和輸出都是圖像，主要工作是對圖像進(jìn)行加工。圖像識別對輸入模式進(jìn)行分類，它具有圖像感知的內(nèi)容， 但理解的結(jié)果與圖像感知相比不如后者全面豐富。通常，圖像感知包括圖像處理和模式識別的內(nèi)容。圖像識別過程：特征提取（灰度特征、幾何特征、統(tǒng)計特征）：從原始數(shù)據(jù)中提取出對分類識別有用的信息。 分類判決：處理第一步獲取的信息，完成特征信息與目標(biāo)參數(shù)間的相互關(guān)聯(lián)的判決 圖像識別方法：統(tǒng)計方法：以數(shù)學(xué)的決策理論為基礎(chǔ)， 建立統(tǒng)計學(xué)識別模型，通過對圖像大量統(tǒng)計分析， 找出規(guī)律性認(rèn)識，抽出反映圖像本質(zhì)特點的特征進(jìn)行識別。句法模式識別方法：

19、 從圖像的結(jié)構(gòu)特性出發(fā)分析、識別、描述圖像。統(tǒng)計法未考慮圖像結(jié)構(gòu)，句法模式未考慮環(huán)境中的噪聲干擾，兩者結(jié)合更好。從識別邏輯觀點看：組合式（全部特征抽出進(jìn)行判斷），順序式（每抽一次特征，進(jìn)行 判斷）人臉圖像識別過程：面相檢測：在動態(tài)的場景與復(fù)雜的背景中 判斷是否存在面相并分離出面相；跟蹤：是指對被檢測到的 面相進(jìn)行動態(tài)目標(biāo)跟蹤；識別：是對被檢測到的 面相進(jìn)行身份確認(rèn)和 在面相庫中進(jìn)行目標(biāo)搜索。手寫字體識別【手寫文字的聯(lián)機(jī)識別主要解決將輸入數(shù)據(jù)識別并轉(zhuǎn)換成字符或詞句，然后存儲顯示，或者加以解釋和執(zhí)行。卜|*詞典語法庫手寫字識別解釋器執(zhí)行單元壬73基于手寫字識別的人機(jī)交互過程脫機(jī)（手寫字符/單詞識別處理）/聯(lián)機(jī)（數(shù)據(jù)采集與預(yù)處理技術(shù)、筆記分割技術(shù)、特征 提取、建模以及匹配技術(shù)、后處理技術(shù)）手寫體識別】數(shù)字墨水：在tabletPC上書寫或繪制的任何內(nèi)容。墨跡把書寫速度、壓力、筆勢等信息轉(zhuǎn)化 為數(shù)