模式識(shí)別基礎(chǔ)復(fù)習(xí)資料

1、模式識(shí)別基礎(chǔ)復(fù)習(xí)資料教師：張學(xué)工2009秋季X清華大學(xué) 自動(dòng)化系2009秋季Contents卷一、模式識(shí)別機(jī)經(jīng)3卷二、20082009秋_模式識(shí)別_張學(xué)工_期末B4卷三、20072008秋_模式識(shí)別_張學(xué)工_期末B6卷四、20072008秋_模式識(shí)別_張學(xué)工_期末A8卷五、20062007秋_模式識(shí)別_張學(xué)工_期末B9卷六、20052006秋_模式識(shí)別_張學(xué)工_期末10卷七、20042005秋_模式識(shí)別_張學(xué)工_期末11卷八、20032004秋_模式識(shí)別_張學(xué)工_期末12卷九、19992000春_模式識(shí)別_張學(xué)工_期末13附錄、名詞以及原理15 卷一、模

2、式識(shí)別機(jī)經(jīng)                           1.(16分)正態(tài)分布N(0,9)與均勻分布5,10,先驗(yàn)概率1/2最小錯(cuò)誤率分類器,并畫(huà)圖.最小錯(cuò)誤率分類器缺點(diǎn) 答：設(shè)計(jì)最小錯(cuò)誤率分類器：如果則為反之則為（特別的，當(dāng)，可以接受為任何一類也可以拒絕。在連續(xù)情況下這種情況幾乎完全不出現(xiàn)。，2畫(huà)圖如下，紅色表示（5,10均勻分

3、布的后驗(yàn)概率），藍(lán)色表示（N(0,9)的后驗(yàn)概率）（注意！圖是錯(cuò)的作者）（圖是錯(cuò)的）3最小錯(cuò)誤分類器有許多局限性。其一，其只考慮到錯(cuò)誤率的限制，并未考慮到實(shí)際情況中不同錯(cuò)誤的代價(jià)等等，為了克服這類局限性，學(xué)者們?cè)谧钚″e(cuò)誤率之外又設(shè)計(jì)了最小風(fēng)險(xiǎn)分類器、限定一類錯(cuò)誤率令另一類錯(cuò)誤率最小的分類器等；其二，其只能用于監(jiān)督學(xué)習(xí)，要求已知分類情況，并且要滿足I.I.D條件即樣本與總體分布相符；其三，其要求必須知道先驗(yàn)概率，許多實(shí)際問(wèn)題的先驗(yàn)概率是難以得到的。 2.(22分)8個(gè)樣品w1 3個(gè).,w2 5個(gè).1)最近鄰分類,畫(huà)圖2)給兩個(gè)點(diǎn).,問(wèn)怎么分3)最近鄰分類器線性分類器?4)設(shè)計(jì)

4、二次曲面分之5)壓縮近鄰法壓縮過(guò)程及結(jié)果6)壓縮近鄰法分界面并比較1)答：（題目不完整）最近鄰法（k=1），k近鄰（k個(gè)最近的點(diǎn)投票），可以考慮加權(quán)3.(5分)證明兩個(gè)樣品構(gòu)成得協(xié)方差矩陣一般是奇異的（不可逆的）答：設(shè),從而其第i行j列元素為，表示第m個(gè)樣本第n個(gè)維度的值。從而這是一個(gè)行列式為零的矩陣（第一行除以(）,第二行除以之后想減得零，故該協(xié)方差陣是奇異的。 4.(26分)"距離"不同會(huì)有不同結(jié)果1)給出兩種你認(rèn)為重要的距離,如何定義及物理意義2)貝葉斯分類器,近鄰法,fisher投影法,c均值法是否受距離度量影響,不受則說(shuō)明理由,受,距離說(shuō)明答：距離可以是任意一種范

5、數(shù)，設(shè)對(duì)點(diǎn)歐幾里得距離（2范數(shù)）：每個(gè)坐標(biāo)的絕對(duì)值差之和（1范數(shù)）：貝葉斯分類器不受、fisher投影法不受：都屬于判別函數(shù)與距離度量無(wú)關(guān)的，故不受影響，近鄰法，c均值法與受到距離度量的5.(15分)AB玩游戲,A問(wèn)是非問(wèn)題,B回答是或非.問(wèn)1)游戲與模式識(shí)別什么內(nèi)容有關(guān)系?用模式識(shí)別語(yǔ)言描述2)B應(yīng)如何調(diào)整問(wèn)題3)如果做成計(jì)算機(jī)游戲,寫(xiě)出設(shè)計(jì)思路,方法,難點(diǎn),解決方案.游戲受歡迎嗎?為什么?答：?這是一類決策樹(shù)問(wèn)題。可以將每一個(gè)是非問(wèn)題看做一個(gè)決策樹(shù)節(jié)點(diǎn)，是非答案決定了分支的方向（左或右）。調(diào)整問(wèn)題應(yīng)該使得在有效分類的情況下樹(shù)深度最淺，就能在單次游戲最壞情況下最快猜出。（我覺(jué)得挺2的，應(yīng)該不

6、會(huì)受歡迎。不過(guò)可以用作公安局犯罪嫌疑人指認(rèn)的軟件）6.(6分)自己設(shè)計(jì)模糊數(shù)學(xué)用于模式識(shí)別的其他理論方法(除去聚類).寫(xiě)出思路必要細(xì)節(jié).分析可能結(jié)果.答：例如k-近鄰法的模糊性質(zhì)。定義隸屬函數(shù)表示屬于類的程度，值域上界為1，表示完全屬于，下界為0，表示完全不屬于，將對(duì)任意一個(gè)待判定的樣本,選取某個(gè)距離度量（如歐幾里得距離）最近的k個(gè)已知類別的訓(xùn)練樣本，從而令得到x對(duì)于類的隸屬函數(shù)。7.(10分)專家經(jīng)常根據(jù)特殊筆跡或特殊長(zhǎng)相分類.問(wèn)如何在一個(gè)人臉自動(dòng)識(shí)別系統(tǒng)或筆跡自動(dòng)識(shí)別系統(tǒng)中實(shí)現(xiàn)人的這一經(jīng)驗(yàn).從數(shù)據(jù)預(yù)處理,特征提取,選擇分類器設(shè)計(jì)等角度描述實(shí)現(xiàn)這一經(jīng)驗(yàn)的方法與可能性.優(yōu)點(diǎn)?缺點(diǎn)?答：這是一類

7、特殊的圖像識(shí)別問(wèn)題，可以采用K-L分類卷二、20082009秋_模式識(shí)別_張學(xué)工_期末B1.（30'） 簡(jiǎn)要介紹下列概念·ROC曲線、交叉驗(yàn)證、似然函數(shù)、特征選擇與提取、推廣能力、隨機(jī)森林答：1 ROC曲線（Receiver Operational Characteristic Curve）是以False Positive Rate為橫坐標(biāo)，True Positive Rate為縱坐標(biāo)的繪制的曲線，通過(guò)改變分點(diǎn)給出對(duì)應(yīng)的FP和TP繪成。曲線的點(diǎn)表示了在敏感度和特殊性之間的平衡，例如越往左，也就是假陽(yáng)性越小，則真陽(yáng)性也越小。曲線下方的面積越大，則表示該方法越有利于區(qū)分

8、兩種類別。2 交叉驗(yàn)證是指交叉驗(yàn)證(Cross-validation)主要用于建模應(yīng)用中，在給定的建模樣本中，拿出大部分樣本進(jìn)行建模型，留小部分樣本用剛建立的模型進(jìn)行預(yù)報(bào)，并求這小部分樣本的預(yù)報(bào)誤差，記錄它們的平方加和。這個(gè)過(guò)程一直進(jìn)行，直到所有的樣本都被預(yù)報(bào)了一次而且僅被預(yù)報(bào)一次。把每個(gè)樣本的預(yù)報(bào)誤差平方加和，這個(gè)數(shù)越小，表示該方法越好3 特征選擇與提?。禾卣魇侵笇?duì)事物的觀測(cè)或者某種運(yùn)算，用于分類。特征提取是指直接觀測(cè)到或者經(jīng)過(guò)初步運(yùn)算的特征原始特征。特征選擇是指從m個(gè)特征中選擇m1個(gè)，m1<m。特征提取（特征壓縮、變換）將m個(gè)特征變?yōu)閙2個(gè)新特征。4 推廣能力：在有限的樣本上建立的學(xué)

9、習(xí)機(jī)器對(duì)未來(lái)樣本的表現(xiàn)。5 隨機(jī)森林是指通過(guò)bootstrapping 樣本來(lái)生成許多決策樹(shù)，對(duì)于決策樹(shù)上的每一個(gè)節(jié)點(diǎn)，選擇m個(gè)變量來(lái)進(jìn)行決策。計(jì)算訓(xùn)練集基于這m個(gè)變量的最佳分劃。（Wiki:在機(jī)器學(xué)習(xí)中，隨機(jī)森林是一個(gè)包含多個(gè)決策樹(shù)的分類器， 并且其輸出的類別是由個(gè)別樹(shù)輸出的類別的眾數(shù)而定。 Leo Breiman和Adele Cutler發(fā)展出推論出隨機(jī)森林的算法。 而 "Random Forests" 是他們的商標(biāo)。 這個(gè)術(shù)語(yǔ)是1995年由貝爾實(shí)驗(yàn)室的Tin Kam Ho所提出的隨機(jī)決策森林（random decision forests）而來(lái)的。這個(gè)方法則是結(jié)合 B

10、reimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"" 以建造決策樹(shù)的集合。）2.（30）簡(jiǎn)述Fisher線性判別方法的基本原理并討論如何在Fisher線性判別中實(shí)現(xiàn)最小風(fēng)險(xiǎn)的分類決策。答：1. Fisher線性判別法是指：將多維判別決策問(wèn)題通過(guò)線性組合降低為1維的時(shí)候，選擇一個(gè)最優(yōu)的一維線性判別函數(shù)的方法。該方法考慮了不同類別樣本的協(xié)方差和均值之差。決策面法向量為。2. 考慮最小風(fēng)險(xiǎn)分類決策的時(shí)候，需要甄選分界閾值點(diǎn)。從而可以根據(jù)貝葉斯決策規(guī)獲得一種一維內(nèi)的最小風(fēng)

11、險(xiǎn)分類器。例如，經(jīng)過(guò)投影后的分別服從的分布規(guī)律P14頁(yè)下方3.（20）簡(jiǎn)述C-均值方法的基本原理，并討論在什么情況下此方法比較適用。答：C均值法是一種動(dòng)態(tài)聚類法，通過(guò)多次迭代，逐步調(diào)整類別劃分，最終使某準(zhǔn)則達(dá)到最優(yōu)。C均值法的目標(biāo)是最小化最小方差劃分。用另一個(gè)角度來(lái)看，就是用C個(gè)碼本來(lái)代表整個(gè)樣本集，使這種表示帶來(lái)的總體誤差最小向量量化。誤差平方和聚類準(zhǔn)則：見(jiàn)課件9.3(p14)適用條件：課件9.3 (p22) 4.（20）SVM與多層感知器都可以實(shí)現(xiàn)非線性分類，試討論它們?cè)谠砩系穆?lián)系與區(qū)別。答：1. 支持向量機(jī)（SVM：Supporting Vector Mechine)原理：課件5.5

12、P6（特點(diǎn)是：P13），課本P301。支持向量機(jī)的基本思想可以概括為：首先通過(guò)非線性變化將輸入空間變換到一個(gè)高維空間，然后在這個(gè)新空間中求取最優(yōu)先行分類面，而這種非線性變換是通過(guò)定義適當(dāng)?shù)膬?nèi)積函數(shù)K(X,Y)實(shí)現(xiàn)的。2. 多層感知器（MLP:Multi-Layer Perception）原理：課件5.4 P10。是一種前饋人工神經(jīng)網(wǎng)絡(luò)。它利用三層或者三層以上多個(gè)感知器來(lái)講輸入數(shù)據(jù)映射為復(fù)雜輸出數(shù)據(jù)，使得分類器可以產(chǎn)生非線性的或者超平面的決策面，從而成為分線性分類器。(Wiki:A multilayer perceptron is a feedforward artificial neural

13、network model that maps sets of input data onto a set of appropriate output. It is a modification of the standard linear perceptron in that it uses three or more layers of neurons (nodes) with nonlinear activation functions, and is more powerful than the perceptron in that it can distinguish data th

14、at is not linearly separable, or separable by a hyperplane.1)3. 聯(lián)系與差異：都屬于非線性分類器，但是其中一種是通過(guò)特征空間的非線性變換來(lái)實(shí)現(xiàn)最優(yōu)決策面的，而多層感知器則是通過(guò)多層感知器（邏輯單元）的邏輯組合（輸入-中間-輸出）以及每層之間各數(shù)據(jù)的線性組合來(lái)實(shí)現(xiàn)非線性決策面的5.（沒(méi)有分）給課程提建設(shè)性建議。1.通過(guò)模式識(shí)別基礎(chǔ)課程的學(xué)習(xí)。卷三、20072008秋_模式識(shí)別_張學(xué)工_期末B 1 .寫(xiě)出英文全稱，中文，100字簡(jiǎn)述 5*6=30a)Hierachical Clustering；&

15、#160;b)MLP；c)Nonparametric Estimation； d)SVMe)Fisher's Linear Discriminant Analysis；f)PCA；g)Random Forest1. Hierachical Clustering，分級(jí)聚類（課件9.4P45）：從各類只有一個(gè)樣本點(diǎn)開(kāi)始，逐級(jí)合并，每級(jí)只合并兩類，直到最后所有樣本都?xì)w到一類。聚類過(guò)程中考察類間相似度，依次決定類別數(shù)。2. MLP，Multi-Layer Perception，多層感知器原理：課件5.4 P10。是一種前饋人工神經(jīng)網(wǎng)絡(luò)

16、。它利用三層或者三層以上多個(gè)感知器來(lái)講輸入數(shù)據(jù)映射為復(fù)雜輸出數(shù)據(jù)，使得分類器可以產(chǎn)生非線性的或者超平面的決策面，從而成為分線性分類器。(Wiki:A multilayer perceptron is a feedforward artificial neural network model that maps sets of input data onto a set of appropriate output. It is a modification of the standard linear perceptron in that it uses three or more layers

17、 of neurons (nodes) with nonlinear activation functions, and is more powerful than the perceptron in that it can distinguish data that is not linearly separable, or separable by a hyperplane.1)3. Nonparametric Estimation：非參數(shù)估計(jì)(課件3.5.1，P36)不假設(shè)概率模型，通過(guò)樣本落在區(qū)域的概率來(lái)估計(jì)出一個(gè)概率密度函數(shù)。常用的有窗函數(shù)法（如近鄰估計(jì)、Parzen窗估計(jì)

18、）。4. SVM，Supporting Vector Mechine，支持向量機(jī)：課件5.5 P6（特點(diǎn)是：P13），課本P301。支持向量機(jī)的基本思想可以概括為：首先通過(guò)非線性變化將輸入空間變換到一個(gè)高維空間，然后在這個(gè)新空間中求取最優(yōu)先行分類面，而這種非線性變換是通過(guò)定義適當(dāng)?shù)膬?nèi)積函數(shù)K(X,Y)實(shí)現(xiàn)的。5. Fisher's Linear Discriminant Analysis， Fisher線性判別分析:Fisher線性判別法是指：將多維判別決策問(wèn)題通過(guò)線性組合降低為1維的時(shí)候，選擇一個(gè)最優(yōu)的一維線性判別函數(shù)的方法。該方法考慮了不同類別樣本的協(xié)

19、方差和均值之差。決策面法向量為。6. PCA，Principal Component Analysis，主成分分析：課件8.2P21，目的：在統(tǒng)計(jì)學(xué)中，主成分分析（principal components analysis (PCA)）是一種簡(jiǎn)化數(shù)據(jù)集的技術(shù)。它是一個(gè)線性變換。這個(gè)變換把數(shù)據(jù)變換到一個(gè)新的坐標(biāo)系統(tǒng)中，使得任何數(shù)據(jù)投影的第一大方差在第一個(gè)坐標(biāo)（稱為第一主成分）上， 第二大方差在第二個(gè)坐標(biāo)（第二主成分）上，依次類推。主成分分析經(jīng)常用減少數(shù)據(jù)集的維數(shù)，同時(shí)保持?jǐn)?shù)據(jù)集的對(duì)方差貢獻(xiàn)最大的特征。這是通過(guò)保留低階主成 分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。但是

20、，這也不是一定的，要視具體應(yīng)用而定。6 Random Forest，隨機(jī)森林：隨機(jī)森林是指通過(guò)bootstrapping 樣本來(lái)生成許多決策樹(shù)，對(duì)于決策樹(shù)上的每一個(gè)節(jié)點(diǎn)，選擇m個(gè)變量來(lái)進(jìn)行決策。計(jì)算訓(xùn)練集基于這m個(gè)變量的最佳分劃。（Wiki:在機(jī)器學(xué)習(xí)中，隨機(jī)森林是一個(gè)包含多個(gè)決策樹(shù)的分類器， 并且其輸出的類別是由個(gè)別樹(shù)輸出的類別的眾數(shù)而定。 Leo Breiman和Adele Cutler發(fā)展出推論出隨機(jī)森林的算法。 而 "Random Forests" 是他們的商標(biāo)。 這個(gè)術(shù)語(yǔ)是1995年由貝爾實(shí)驗(yàn)室的Tin Kam Ho所提出的隨機(jī)決策森林（random decisi

21、on forests）而來(lái)的。這個(gè)方法則是結(jié)合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"" 以建造決策樹(shù)的集合。）2 200字簡(jiǎn)述 4*5=20a)最小距離分類器何時(shí)是最優(yōu)分類器？b)寫(xiě)出最小距離分類器，分段線性判別，最近鄰法的關(guān)系c)寫(xiě)出決策樹(shù)和隨機(jī)森林的關(guān)系，以及為什么要有隨機(jī)森林        記不太清了，貌似有個(gè)SVM的原理？d)寫(xiě)出K-L變換和

22、PCA的關(guān)系        寫(xiě)出特征提取和fisher線性判別的關(guān)系答：1. 最小距離分類器：（課本P120頁(yè)）最小距離分類器是指在貝葉斯決策規(guī)則當(dāng)類條件概率密度為正態(tài)分布且各特征統(tǒng)計(jì)獨(dú)立同方差時(shí)，利用貝葉斯決策規(guī)則在可以得到線性距離判別函數(shù)，特別是當(dāng)時(shí)，決策規(guī)則式可以寫(xiě)成這時(shí)的最小距離分類器是滿足貝葉斯決策規(guī)則的最優(yōu)分類器。2. 最小距離分類器是一種分段線性的判別方法。每個(gè)樣本點(diǎn)的類別由最近的代表點(diǎn)的類別決定。最近鄰法是這種分類器的一種應(yīng)用，特殊之處在于（課本P120頁(yè)）最近鄰法是將每一個(gè)樣本都當(dāng)做類別的代表點(diǎn)3

23、. 隨機(jī)森林由多個(gè)決策樹(shù)組成。隨機(jī)森林的優(yōu)缺點(diǎn)：Wiki:The advantages of random forest are:· For many data sets, it produces a highly accurate classifier · It handles a very large number of input variables · It estimates the importance of variables in determining classification · It generates an internal

24、unbiased estimate of the generalization error as the forest building progresses · It includes a good method for estimating missing data and maintains accuracy when a large proportion of the data are missing · It provides an experimental way to detect variable interactions · It can bal

25、ance error in class population unbalanced data sets · It computes proximities between cases, useful for clustering, detecting outliers, and (by scaling) visualizing the data · Using the above, it can be extended to unlabeled data, leading to unsupervised clustering, outlier detection and d

26、ata views · Learning is fast The disadvantages of random forest are:· Random forest are prone to overfitting for some datasets. This is even more pronounced in noisy classification/regression tasks.6 · Random Forest does not handle large numbers of irrelevant features as well as ensem

27、bles of entropy-reducing decision trees.7 · It is more efficient to select a random decision boundary than an entropy-reducing decision boundary, thus making larger ensembles more feasible. Although this may seem to be an advantage at first, it has the effect of shifting the computation from tr

28、aining time to evaluation time, which is actually a disadvantage for most applications. 3. 寫(xiě)出K-L變換和PCA的關(guān)系:PCA和K-L變換目的都是從高維的原始數(shù)據(jù)中提取低維度相關(guān)性低的特征數(shù)據(jù)。（白云飛：PCA針對(duì)樣本協(xié)方差矩陣，找出特征值較大的，K-L變換針對(duì)產(chǎn)生矩陣，可以根據(jù)不同準(zhǔn)則挑選特征值和特征向量，二者本質(zhì)相同）3構(gòu)造兩類分類器，100個(gè)訓(xùn)練數(shù)據(jù)，使用K近鄰法，如何選擇K，給出一個(gè)合適的K，說(shuō)明理由（1*5=5）答：K值不宜太大，太大則太多干擾樣本點(diǎn)被納入，太小則無(wú)法適應(yīng)小規(guī)模錯(cuò)誤情況，對(duì)于1

29、00個(gè)訓(xùn)練數(shù)據(jù)，一般來(lái)說(shuō)選擇5、7、9比較合適。去奇數(shù)是為了避免出現(xiàn)兩種類別數(shù)相同無(wú)法判決的情況。4SOM若沒(méi)有鄰域作用，則變成什么算法？寫(xiě)出該算法的目標(biāo)函數(shù)，算法基本步驟（1*15=15） 答：SOM思路類似先作向量量化（聚類），用較少的點(diǎn)（子類）代表原樣本空間，把這些代表點(diǎn)進(jìn)行分類。(Wiki: A self-organizing map (SOM) or self-organizing feature map (SOFM) is a type of artificial neural network that is trained using unsupervised learning

30、to produce a low-dimensional (typically two-dimensional), discretized representation of the input space of the training samples, called a map. Self-organizing maps are different from other artificial neural networks in the sense that they use a neighborhood function to preserve the topological prope

31、rties of the input space.)如果沒(méi)有鄰域作用，就退化一個(gè)典型的C均值法。該算法計(jì)算步驟（課件9.3，P17）5綜合題。文本自動(dòng)分類的原理性設(shè)計(jì)，按內(nèi)容分類為軍事，體育，娛樂(lè)等。例舉本科所學(xué)內(nèi)容和概念能在這個(gè)設(shè)計(jì)上怎么體現(xiàn)。1*30=30答：因?yàn)槭前匆阎獌?nèi)容分類，是一個(gè)監(jiān)督學(xué)習(xí)的模式識(shí)別問(wèn)題?？紤]如下監(jiān)督學(xué)習(xí)模式1.隨機(jī)獲取已經(jīng)定義好類別的樣本1.特征提?。好總€(gè)樣本進(jìn)行詞頻統(tǒng)計(jì)，詞匯來(lái)自辭海。假設(shè)辭海有80000個(gè)詞，則對(duì)每一個(gè)樣本，得到一個(gè)80000維的特征數(shù)據(jù)。顯然，這是一個(gè)高維數(shù)據(jù)。2.特征處理：（1）首先去所有樣本出現(xiàn)頻度都小于一定閾值的詞匯，比方說(shuō)出現(xiàn)5次。剩下

32、10000維。（2）對(duì)這10000維進(jìn)行主成分分析，得到一個(gè)低維度的特征數(shù)據(jù)，比如4維。（3）對(duì)于這三維，可以進(jìn)行一下分類：k近鄰法、支撐向量機(jī)法（廣義支撐向量機(jī)）、Fisher判別法等。其中Fisher判別再次降維后還可以運(yùn)用基于最小錯(cuò)誤率的貝葉斯決策3對(duì)于以上監(jiān)督學(xué)習(xí)模式的樣本可以進(jìn)行同一個(gè)方法的交叉驗(yàn)證，去除一定的干擾。附加題說(shuō)明兩類錯(cuò)誤率。在SVM線性不可分的情況下，如何把最小風(fēng)險(xiǎn)的概念引入SVM，對(duì)目標(biāo)函數(shù)應(yīng)該怎樣修正。（最多10分，全卷不會(huì)超過(guò)100分）答：（1）兩類錯(cuò)誤率為“拒真納偽”。（2）（課本P298）如果線性不可分，就是某些樣本不能滿足條件時(shí)，引入松弛因子，使得條件變成，

33、對(duì)于足夠小的，只要使最小就能使錯(cuò)分樣本數(shù)最小。對(duì)應(yīng)線性可分情況下的使分類間隔最大，在線性不可分的時(shí)候引入約束，最終得到目標(biāo)函數(shù)，C為某個(gè)指定常數(shù)，起著控制對(duì)錯(cuò)分樣本懲罰的程度（風(fēng)險(xiǎn)）的作用。關(guān)于風(fēng)險(xiǎn)的討論在課本P299頁(yè)卷四、20072008秋_模式識(shí)別_張學(xué)工_期末A（略）      卷五、20062007秋_模式識(shí)別_張學(xué)工_期末B1.  寫(xiě)出英文全稱并解釋相應(yīng)的概念或者方法的原理30%  a)非參數(shù)估計(jì)    b)非監(jiān)督模式識(shí)別  c)最大似然估計(jì) 

34、 d)MDS e)推廣能力      f)kNN答：其他見(jiàn)前文卷子。1. MDS：Multi-Dimensional Scaling,Multidimensional scaling (MDS) is a set of related statistical techniques often used in information visualization for exploring similarities or dissimilarities in data. MDS is a special case of

35、 ordination. An MDS algorithm starts with a matrix of itemitem similarities, then assigns a location to each item in N-dimensional space, where N is specified a priori. For sufficiently small N, the resulting locations may be displayed in a graph or 3D visualisation.2. 這里附上紅寶書(shū)預(yù)測(cè)詞匯：LDF:Linear Discrim

36、inant Functions線性判別函數(shù)。ISOMAPIsomap6 is a combination of Curvilinear Distance Analysis (CDA) and Multidimensional Scaling (MDS). Both CDA and Isomap begin by finding a set of the nearest neighbors of each point. They seek to preserve the geodesic distances between points while projecting the data int

37、o fewer dimensions. Geodesic distance is defined as the length of the shortest path between two points that stays on the manifold surface. These algorithms estimate geodesic distances by finding the shortest neighbor-to-neighbor path between every pair of points, which can be computed efficiently us

38、ing Dijkstras algorithm.LLELocally-Linear Embedding (LLE)8 was presented at approximately the same time as Isomap. It has several advantages over Isomap, including faster optimization when implemented to take advantage of sparse matrix algorithms, and better results with many problems. LLE also begi

39、ns by finding a set of the nearest neighbors of each point. It then computes a set of weights for each point that best describe the point as a linear combination of its neighbors. Finally, it uses an eigenvector-based optimization technique to find the low-dimensional embedding of points, such that

40、each point is still described with the same linear combination of its neighbors. LLE tends to handle non-uniform sample densities poorly because there is no fixed unit to prevent the weights from drifting as various regions differ in sample densities. LLE has no internal model.2.   &#

41、160;如果用kNN來(lái)解決作業(yè)中的男女生訓(xùn)練樣本問(wèn)題，那么你如何選擇k？簡(jiǎn)述理由答：K=5,7,9,理由見(jiàn)卷子3. 12%  無(wú)鄰域相互作用的SOM的相當(dāng)于是優(yōu)化什么目標(biāo)函數(shù)，寫(xiě)出目標(biāo)函數(shù)。8%答：C means，見(jiàn)前文4. 1)簡(jiǎn)述兩類錯(cuò)誤率的概念，并由此談一談最小風(fēng)險(xiǎn)錯(cuò)誤率Bayes分類器的原理？    8%     2)怎么把最小風(fēng)險(xiǎn)的概念引入線性SVM中（考慮線性不可分的情況），嘗試寫(xiě)出公式6%   3)怎么把最小風(fēng)險(xiǎn)的概念引入Fishe

42、r線性判別中，簡(jiǎn)述一下。6%答：見(jiàn)前文5. 現(xiàn)在先要建立一種針對(duì)不同用戶的文本郵件分類系統(tǒng)，比如分成私人郵件，公務(wù)郵件等。描述怎么建立，課上講的哪些方法和概念可以用到？30%  答：見(jiàn)前文卷六、20052006秋_模式識(shí)別_張學(xué)工_期末張老師說(shuō)：言多必失1. 10%  簡(jiǎn)述最小錯(cuò)誤率Bayes分類器的原理和適用范圍答：（NBAzzxy說(shuō)）：原理：通過(guò)觀察 x 把狀態(tài)的先驗(yàn)概率轉(zhuǎn)化為狀態(tài)的后驗(yàn)概率，比較不同的后驗(yàn)概率并作出決策。 適用范圍：各類別總體的概率分布是已知的，要決策分類的類別數(shù)是一定的，離散數(shù)據(jù)，相較其它算法可以解決高維問(wèn)題。

43、2. 10%  什么是分類器的錯(cuò)誤率？如何估計(jì)？        簡(jiǎn)述兩類錯(cuò)誤率的概念，以及如何控制兩類錯(cuò)誤率的影響？答：兩類錯(cuò)誤率是：拒真納偽?？刂苾深愬e(cuò)誤率（1）選擇更好的特征。（2）對(duì)特征進(jìn)行提取。（3）變更分類器。（4）同一種分類器引入風(fēng)險(xiǎn)函數(shù)進(jìn)行權(quán)衡（Tradeoff）3. 10%  寫(xiě)出英文全稱        模式識(shí)別    &

44、#160;   似然函數(shù)        非監(jiān)督學(xué)習(xí)      非參數(shù)估計(jì)        SVM     MLP     PCA     MDS(必殺!)    

45、  k-NN    SOM答：Pattern Recognition; Likelihood Function; Unsupervised Learning; Non-parametrical Estimation4. 10%  無(wú)鄰域相互作用的SOM的準(zhǔn)則函數(shù)？(記不清怎么說(shuō)的了.)C-means，見(jiàn)前文5. 15%  學(xué)號(hào)末兩位和為奇數(shù)用身高數(shù)據(jù)，為偶數(shù)用體重?cái)?shù)據(jù)        體重：

46、0; 55      57      67      68      50        進(jìn)行平均距離分級(jí)聚類，給出分類樹(shù)，給出每級(jí)的距離矩陣。        聚為幾類合適？為什么？(67,

47、68),50),(55,57),分為兩類合適。每級(jí)距離矩陣：(67168)方差*50)方差*(551.41457),6. 15%  參數(shù)估計(jì)和非參數(shù)估計(jì)的概念？最大似然估計(jì)和Parzen窗法的原理？        如何估計(jì)錯(cuò)誤率？答：參數(shù)估計(jì)：已知概率模型，根據(jù)樣本對(duì)參數(shù)進(jìn)行估計(jì)。非參數(shù)估計(jì)：未知概率模型，通過(guò)樣本對(duì)概率模型進(jìn)行直接估計(jì)。最大似然估計(jì)：在參數(shù)估計(jì)中選取使樣本出現(xiàn)概率最大（Most Likelihood）的參數(shù)進(jìn)行的估計(jì)。Parzen窗法是一種39），每個(gè)樣本點(diǎn)對(duì)分布函數(shù)產(chǎn)生貢獻(xiàn)用窗函數(shù)描述為k(x,xi)7. 20%  以下線性分類器的設(shè)計(jì)原理？各自特性，聯(lián)系？        A) 最小距離分類器   B) Fisher線性分類器        C) 感知準(zhǔn)則函數(shù)分類器   D) 線性SVM除