模式識別導(dǎo)論習題集

1、模式識別導(dǎo)論習題集1、設(shè)一幅256×256大小的圖像，如表示成向量，其維數(shù)是多少？如按行串接成一維，則第3行第4個象素在向量表示中的序號。解：其維數(shù)為2；序號為256×245162、如標準數(shù)字1在5×7的方格中表示成如圖所示的黑白圖像，黑為1，白為0，現(xiàn)若有一數(shù)字1在5×7網(wǎng)格中向左錯了一列。試用分別計算要與標準模板之間的歐氏距離、絕對值偏差、偏差的夾角表示，異己用“異或”計算兩者差異。解：把該圖像的特征向量為5×735維，其中標準模版的特征向量為：x=0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1

2、0 0 0 0 1 0 0 0 0 1 0 0T待測樣本的特征向量為：y=0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0T因此歐氏距離為 ，絕對值偏差為，夾角余弦為，因此夾角為90度。3、哈明距離常用來計算二進制之間的相似度，如011與010的哈明距離為1，010與100距離為3?，F(xiàn)用來計算7位LED編碼表示的個數(shù)字之間的相似度，試計算3與其它數(shù)字中的哪個數(shù)字的哈明距離最小。解：是“9”，距離為14、對一個染色體分別用一下兩種方法描述： (1)計算其面積、周長、面積/周長、面積與其外接矩形面積之比可以得

3、到一些特征描述，如何利用這四個值？屬于特征向量法，還是結(jié)構(gòu)表示法？(2)按其輪廓線的形狀分成幾種類型，表示成a、b、c等如圖表示，如何利用這些量？屬哪種描述方法？(3)設(shè)想其他結(jié)構(gòu)描述方法。解：（1）這是一種特征描述方法，其中面積周長可以體現(xiàn)染色體大小，面積周長比值越小，說明染色體越粗，面積占外接矩形的比例也體現(xiàn)了染色體的粗細。把這四個值組成一個維數(shù)為4的特征向量，該特征向量可以描述染色體的一些重要特征，可以按照特征向量匹配方法計算樣本間的相似度?？梢詤^(qū)分染色體和其它圓形、橢圓細胞結(jié)構(gòu)。（2）a形曲線表示水平方向的凹陷，b形表示豎直方向的凹陷，c形指兩個凹陷之間的突起，把這些值從左上角開始，按

4、順時針方向繞一圈，可以得到一個序列描述染色體的邊界。它可以很好的體現(xiàn)染色體的形狀，用于區(qū)分X和Y染色體很合適。這是結(jié)構(gòu)表示法。（3）可以先提取待識別形狀的骨架，在圖中用藍色表示，然后，用樹形表示骨架圖像。5. 設(shè)在一維特征空間中兩類樣本服從正態(tài)分布，=1，µ1=0，µ2=3，兩類先驗概率之比，試求按基于最小錯誤率貝葉斯決策原則的決策分界面的x值。解：按照公式（284），分界面上的點應(yīng)滿足：6. 設(shè)有兩類正態(tài)分布的樣本集，第一類均值，先驗概率，現(xiàn)按基于最小錯誤率貝葉斯決策設(shè)計分類器，試求分類器得分界面。解：按照公式（284），分界面上的點應(yīng)滿足：7. 已知某一正態(tài)分布二維隨機

5、變量的協(xié)方差矩陣為，均值向量為零向量。試求其mahalanobis距離為1的點的軌跡。（不要求）8. 設(shè)有二維隨機變量的分布如圖a、b、c所示的三種情況，協(xié)方差矩陣表示成，試問這三種分布分別對應(yīng)哪種情況（A. a12>0 B. a12<0 C. a120）？解：這3種情況都存在均值向量0，所以協(xié)方差矩陣為所以對于圖a而言，明顯有的平均值>0,因此aA,對于圖b而言，明顯有的平均值=0,因此bC, 對于圖b而言，明顯有的平均值<0,因此cB, a b c 圖19. 什么叫對稱矩陣？什么叫正定矩陣？半正定矩陣？試問協(xié)方差矩陣是否是對稱矩陣？是否是正定矩陣或半正定矩陣？答：對

6、稱陣：aij=aji。正定陣：它的特征值都大于0。半正定陣：它的特征值都大于等于0。協(xié)方差矩陣是正定陣。10. 設(shè)有N個d維向量組成樣本集，表示成X1，Xn，是任一個非奇異對稱陣，證明使為最小的向量X是該樣本集的均值向量。（不要求）證明：顯然可以看出這是一個多元二次式。故極值位置是導(dǎo)數(shù)為零的位置，求導(dǎo)，得：,這是一個一次方程組，在處得零。故極值在這里取得。11. 設(shè)一個二維空間中的兩類樣本服從正態(tài)分布，其參數(shù)分別為，先驗概率,試證明其基于最小錯誤率的貝葉斯決策分界面方程為一圓，并求其方程。證明：先驗概率相等條件下，基于最小錯誤率貝葉斯決策的分界面上兩類條件概率密度函數(shù)相等。因此有：化簡為，是一

7、個圓的方程12. 將上題推廣到一般情況（不要求）（1） 若，,試說明先驗概率相等條件下，基于最小錯誤率的貝葉斯決策面是否是超球面；（2） 它能否用mahalanobis距離平方為常數(shù)的軌跡表示（3） 用mahalanobis距離表示的軌跡，分析其與1,2的關(guān)系.13. 對兩類問題，若損失函數(shù)，,試求基于最小風險貝葉斯決策分界面處的兩類錯誤率與,的關(guān)系。（不要求）14. 思考題：如果有兩類問題，1和2，現(xiàn)欲嚴格限制錯將第二類誤判成第一類的情況，那么應(yīng)如何選擇?（不要求）15. 證明在正定或半正定時，mahalanobis距離r符合距離定義的三個條件，即（不要求）（1） r(a,b)=r(b,a)

8、（2） 當且僅當a=b時，有r(a,b)=0（3） r(a,c)r(a,b)+r(b,c)16、設(shè)五維空間的線性方程為，試求出其權(quán)向量與樣本向量點積的表達式中的W，X以及增廣權(quán)向量與增廣樣本向量形式 中的a與Y。 解：W=55 68 32 16 26T，X=x1 x2 x3 x4 x5 a=55 68 32 16 26 10T，Y=x1 x2 x3 x4 x5 117、上式是一個五維空間的超平面，試求該平面到坐標原點的法向距離。 解：根據(jù)式(4-8)，該式的權(quán)向量的模為：而超平面到坐標原點的距離為18、設(shè)在三維空間中一個類別分類問題擬采用二次曲面。如欲采用廣義線性方程求解。試向其廣義樣本向量與

9、廣義權(quán)向量的表達式，其維數(shù)是多少？ 解：根據(jù)式(5-29)其中 可得：因此可令其廣義樣本向量為 廣義權(quán)向量為19、設(shè)兩類樣本的類內(nèi)離散矩陣分別為，均值向量試用fisher準則求其決策面方程。 解：由式(4-18)和(4-32)分別得總類內(nèi)離散度矩陣和最佳投影方向為 因此，原二維空間的均值m1、m2在一維y空間中的投影分別為， 由于兩類樣本分布形狀是相同的（只是方向不同），根據(jù)先驗知識由式(4-33)選定分界閾值點y0應(yīng)為兩類均值的中點:即。20、設(shè)在一個二維空間，A類有三個訓練樣本，圖中用紅點表示，B類四個樣本，圖中用藍點表示。 試問：（1） 按近鄰法分類，這兩類最多有多少個分界面（2） 畫出

10、實際用到的分界面（3） A1與B4之間的分界面有沒有用到？解: （1）按近鄰法，對任意兩個由不同類別的訓練樣本構(gòu)成的樣本對，如果它們有可能成為測試樣本的近鄰，則它們構(gòu)成一組最小距離分類器，它們之間的中垂面就是分界面，因此由三個A類與四個B類訓練樣本可能構(gòu)成的分界面最大數(shù)量為3×412。（2）實際分界面如下圖所示，由9條線段構(gòu)成。 （3）沒有用到。因為它可以用A1與B1的分界面代替。21、C-均值算法的準則函數(shù)為：,設(shè)兩個集群的數(shù)據(jù)分別為與試求：1） 兩個集群的均值。2） 若將數(shù)據(jù)從第一個集群轉(zhuǎn)移至第二個時，準則函數(shù)值J0的變化量。解：1）， 2) 從第一個集群中移出，準則函數(shù)值減少為

11、該數(shù)據(jù)加入第二個集群值準則函數(shù)值增加值為(22、若數(shù)據(jù)集共有N個集群，總離散矩陣為（不要求）1）試求證某一數(shù)據(jù)x從轉(zhuǎn)移至集群時，的離散矩陣變化量為其中是轉(zhuǎn)移前集群的均值的量，是轉(zhuǎn)移前的數(shù)據(jù)。2）推測在增加數(shù)據(jù)x后離散矩陣的變化量，以及總離散矩陣的變化量。23、 如果四個數(shù)據(jù)分別為：，以及它們的初始劃分為以及試問：1） 若將移至集群，試求轉(zhuǎn)移前后的總離散矩陣。2） 若用的行列式代為準則，這種轉(zhuǎn)移是否合適？ 3） 若將移至，用C均值算法的準則函數(shù)，這種轉(zhuǎn)移是否合適？解：1）轉(zhuǎn)移前的離散矩陣 轉(zhuǎn)移后的離散矩陣 2） 轉(zhuǎn)移前 轉(zhuǎn)移后 按為準則，這種轉(zhuǎn)移是合適的3） 按C均值算法先計算的值， 第一個集群

12、準則函數(shù)值減少為， 第二個集群準則函數(shù)值增加， 由于13>，按C均值算法這種轉(zhuǎn)移是不合適的。 24、若使用以下準則函數(shù)（不要求）其中是總離散矩陣，是第i個集群的均值向量。試證明對任何一種非奇異變換，該種準則函數(shù)具有不變性。25、已知有兩類數(shù)據(jù),分別為 （略）1 : (1, 0), (2, 0), (1, 1)2 : (-1, 0), (0, 1) , (-1, 1)試求：該組數(shù)據(jù)的類內(nèi)及類間離散矩陣Sw及Sb。26、（1）將在多維正態(tài)分布的Bhattachryya距離表達式 （不要求）轉(zhuǎn)換成用于兩個一維正態(tài)分布及時的JB公式（2）兩個一維正態(tài)分布，其期望與方差分別為第一組： 第二組： 求

13、其Bhattacharyya距離。27、1）已知兩個正態(tài)分布時的散度公式為試將其轉(zhuǎn)換成一維正態(tài)分布下的式子。2）求上一題中兩個一維正態(tài)分布的散度。解：1）在一維正態(tài)分布時2）對第一組對第二組28、對題25給出的數(shù)據(jù)，求使J2達到最大的特征提取。解：， 由式(4-19)和(4-20)得 由于該兩類數(shù)據(jù)的Sb的秩為1，故特征提取后的維數(shù)為1，因此由式(8-63)可得最佳特征提取向量為29、已知有兩個數(shù)據(jù)集，分別為 1 ：（0，0，1），（1，1，1），（1，0，1）及（1，0，0）2 ：（0，0，0），（1，1，0），（0，1，0）及（0，1，0）試求：（1） 將該8個數(shù)據(jù)作為一個數(shù)據(jù)集對其進行K-L變換（2） 求這兩個數(shù)據(jù)集的類內(nèi)離散矩陣，并以此作為其