第三章 多元統(tǒng)計(jì)分析(3).doc

研究生地理數(shù)學(xué)方法（1） 第三章 多元統(tǒng)計(jì)分析（Part 3）第三章 多元統(tǒng)計(jì)分析4 聚類分析分類是人類認(rèn)識(shí)世界的方式，也是管理世界的有效手段。在科學(xué)研究中非常重要，許多科學(xué)的研究都是從分類研究出發(fā)的。沒有分類就沒有效率；沒有分類，這個(gè)世界就沒有秩序。瑞典博物學(xué)家林奈（Carl von Linnaeus, 1707-1778）因?yàn)閷?duì)植物的分類成就被后人譽(yù)為“分類學(xué)之父”，后人評(píng)價(jià)說“上帝創(chuàng)世，林奈分類”能與上帝的名字并列的人不多，另一個(gè)著名的科學(xué)家是牛頓。由此可見分類成果的重要性。最初分類都是定性了，后來隨著科學(xué)的發(fā)展產(chǎn)生了定量分類技術(shù)，包括基于統(tǒng)計(jì)學(xué)的聚類方法和基于模糊數(shù)學(xué)的聚類技巧。本節(jié)主要講述統(tǒng)計(jì)學(xué)意義的數(shù)字分類方法思想和過程。1 聚類的分類分類研究的成果的重要性決定了方法的重大實(shí)踐意義。在任何一門語言的語法學(xué)中，都要對(duì)詞詞匯進(jìn)行分類，詞匯分類可以根據(jù)詞性：名詞，動(dòng)詞，形容詞；英文還可以根據(jù)首字母分類：ABCD；漢字則還可以根據(jù)筆劃，如此等等。在生物學(xué)中，將生物劃分為：界，門，綱，目，科，屬，種。例如白菜（種）屬于油菜屬、十字花科、十字花目、雙子葉植物綱、被子植物亞門、種子植物門、植物界；老虎（種）則屬于貓屬、貓科、食肉目、哺乳動(dòng)物綱、脊椎動(dòng)物亞門、脊索動(dòng)物門、動(dòng)物界。這樣，整個(gè)世界的生物就可以建立一個(gè)等級(jí)譜系，根據(jù)這個(gè)譜系，我們可以比較容易地判斷那些生物已經(jīng)認(rèn)識(shí)了，哪些生物尚未發(fā)現(xiàn)，哪些生物已經(jīng)滅絕了。如果發(fā)現(xiàn)了新的生物，就可以方便地將其歸類。在天文學(xué)中，天體可以根據(jù)視覺區(qū)域分類，也可以根據(jù)發(fā)光性質(zhì)與光譜特征進(jìn)行分類。在地理學(xué)中，城市既可以根據(jù)地域空間分類，也可以根據(jù)城市的職能進(jìn)行分類。表3-3-1 各種生物在分類學(xué)上的位置舉例位置白菜虎界植物界動(dòng)物界門種子植物門脊索動(dòng)物門亞門被子植物亞門脊椎動(dòng)物亞門綱 雙子葉植物綱哺乳動(dòng)物綱目十字花目食肉目科 十字花科貓科屬 油菜屬 貓屬種 白菜 虎當(dāng)我們走進(jìn)一家圖書館，如果它們的圖書沒有分類編目，我們要找到一本圖書與大海撈針沒有什么區(qū)別。分類的方式也會(huì)影響工作的效率。書店的圖書一般根據(jù)科學(xué)門類進(jìn)行分類擺設(shè)，但有一段時(shí)間一家書店改為按照出版單位進(jìn)行分類排列，結(jié)果讀者很難找到所需圖書，這家原本效益挺好的書店很快收到了消極影響。早期的分類，一般根據(jù)事物的屬性與特征進(jìn)行劃分，屬于定性分類的范疇。隨著人們認(rèn)識(shí)的深入和研究對(duì)象復(fù)雜程度的增加，單純的定性分類方法就不能滿足要求了，于是產(chǎn)生了定量分類技術(shù)，即所謂數(shù)字分類。本節(jié)要講述的就是根據(jù)多個(gè)指標(biāo)進(jìn)行數(shù)字分類的一種多元統(tǒng)計(jì)分析技術(shù)。根據(jù)分類對(duì)象的不同，聚類分析又可以分為兩類：一是在變量空間中根據(jù)變量特征或者指標(biāo)性質(zhì)對(duì)樣本進(jìn)行分類，這叫做Q型聚類分析；二是在樣本空間中根據(jù)變量在樣本上的觀測(cè)值對(duì)變量進(jìn)行分類，叫做R型距離分析。我們著重講述的是對(duì)樣本分類，即Q型距離分析。此外，由于現(xiàn)實(shí)世界的事物很難做到一分為二：許多測(cè)度是模糊的，因此產(chǎn)生了模糊聚類技術(shù)，基本思路與我們學(xué)習(xí)的統(tǒng)計(jì)分類一致（圖3-3-1）。圖3-3-1 關(guān)于分類的分類在地理學(xué)中，分類一般涉及到地域，基于地域的分類又可以分為兩類，即同域分類和異域分類。一般意義的分類是同域分類：對(duì)同一個(gè)地域系統(tǒng)的要素進(jìn)行分類；但有時(shí)候需要進(jìn)行異域分類：對(duì)不同地域系統(tǒng)的要素進(jìn)行分類。具體說明如下：同域分類： 經(jīng)濟(jì)建設(shè)與瀕危生物保護(hù)：例如公路建設(shè)，不僅要考慮城市之間以及城鄉(xiāng)聯(lián)系，還要考慮文物保護(hù)、瀕危物種的保護(hù)主要是保護(hù)生物基因庫。 考察某種瀕危物種，調(diào)查其生態(tài)環(huán)境的各種參數(shù)（變量）分區(qū)（樣本）繪圖調(diào)查落實(shí)范圍確定提交給交通部。異域分類： 引進(jìn)日本福岡甜桔，可供選擇的引進(jìn)地點(diǎn)有：合肥、武漢、長沙、桂林、溫州、成都。與甜桔生活有關(guān)的分析變量包括：年平均氣溫，年平均降雨量，年日照時(shí)數(shù)，年極端最低溫，一月份平均氣溫。利用上述變量，將日本福岡與候選城市放到一起聚類，就是所謂異域聚類。人們采用模糊數(shù)學(xué)中的相似優(yōu)先比得到如下結(jié)果：長沙，溫州，成都，武漢，桂林，合肥。我們采用異域聚類得到結(jié)果如下圖（圖3-3-2，由SPSS給出）：可以選擇的順序依次是：長沙，成都，溫州，桂林，武漢，合肥?？梢?，兩種分析方法的結(jié)論是一樣的：優(yōu)先選擇的地點(diǎn)是長沙，不宜選擇的地點(diǎn)是合肥。圖3-3-2 異域聚類分析結(jié)果一例3-13 基于相似系數(shù)的異域聚類結(jié)果：長沙，成都，溫州，桂林，合肥，武漢在多元統(tǒng)計(jì)學(xué)中，聚類分析又叫群分析，乃是研究樣本或指標(biāo)的分類問題的一種多元統(tǒng)計(jì)方法。所謂類，通俗地講，就是相似元素的集合。聚類方法有包括如下種類：系統(tǒng)聚類法，有序樣品法，模糊聚類法，圖論聚類法，聚類預(yù)報(bào)法。2 距離與相似系數(shù)聚類分析是根據(jù)相似性和差異性來進(jìn)行的，相似性可以借助相似系數(shù)之類表征，差異性則可以通過距離反映。廣義地將，距離和相似性是同一類別的數(shù)學(xué)問題。廣義距離，有各種各樣的定義，不同的距離有不同的優(yōu)點(diǎn)和缺點(diǎn)。我們可以更加聚類分析的目的或者研究對(duì)象的特征選擇距離，也可以自行定義一種距離。需要明確的是，定義任何一種距離，都不得違背距離公理。 距離公理設(shè)x1、x2、xn為n個(gè)樣本，第i個(gè)樣本xi與第j個(gè)樣本xj之間建立一個(gè)函數(shù)關(guān)系式dij=d(xi, xj)，如果它滿足如下條件，則稱dij為樣本xi與xj之間的距離： 非負(fù)性：對(duì)所有的i、j成立； 規(guī)范性：當(dāng)且僅當(dāng)； 對(duì)稱性：對(duì)所有的i、j成立； 三點(diǎn)不等式，在數(shù)學(xué)上叫做Cauchy不等式：對(duì)所有的i、j、k成立。距離的大小可以反映樣本之間的差異程度。 常見距離 歐式距離（Euclid距離）. (3-3-1)下面以一個(gè)最簡(jiǎn)單的實(shí)例進(jìn)行說明。已知三個(gè)城市的三項(xiàng)指標(biāo)，計(jì)算它們的歐式距離（表3-2-2）。表3-3-2 甲乙丙三城市的三個(gè)指標(biāo)城市非農(nóng)業(yè)人口工業(yè)總產(chǎn)值建成區(qū)面積城市甲（A）16060115城市乙（B）1104393城市丙（C）903575方 差866.667108.667267.556根據(jù)公式（3-3-1），甲、乙兩城市的歐式距離為（注意，這不是地理或者交通意義的距離）：. (3-3-1)歐式距離的優(yōu)點(diǎn)：幾何意義明確，簡(jiǎn)單，容易掌握，由于中學(xué)數(shù)學(xué)就已初步接觸，數(shù)學(xué)知識(shí)不多的人也可以把握它的基本含義。缺點(diǎn)：從統(tǒng)計(jì)學(xué)的角度看，使用歐式距離要求一個(gè)向量的n個(gè)分量不相關(guān)，且具有相當(dāng)?shù)姆讲?，或者說各個(gè)坐標(biāo)對(duì)歐式距離的貢獻(xiàn)同等且變差大小相同，此時(shí)使用歐式距離才合適，且效果良好，否則就不能如實(shí)反映情況且容易導(dǎo)致錯(cuò)誤的結(jié)論。因此需要對(duì)坐標(biāo)加權(quán)，化為統(tǒng)計(jì)距離（參見后面的精度加權(quán)距離）。 有時(shí)采用歐式距離平方（squared Euclid distance）：, (3-3-2) 明氏距離（或譯“閔氏距離”，Minkovski，Minkowski距離）設(shè)xi、xj均均為m為向量，且, , (), (3-3-4)則稱， （） (3-3-5) 當(dāng)q=1時(shí)，得絕對(duì)距離（Block）. (3-3-6)對(duì)于前面的例子，絕對(duì)距離為. (3-3-7) 當(dāng)q=2時(shí)，得歐式距離, (3-3-8) 當(dāng)q時(shí)，得切比雪夫距離（Chebychev距離）。明氏距離的有缺點(diǎn)如下：優(yōu)點(diǎn)：人們使用較多，較熟悉，易于理解。缺點(diǎn)：a 受指標(biāo)量綱的影響；b 沒有考慮指標(biāo)之間的相關(guān)性。 B模距離 對(duì)于任意的正定矩陣B，由下式確定的距離稱為B模距離，（） (3-3-9) 當(dāng)B=I（單位矩陣）時(shí)，dij為歐式距離。給定兩個(gè)向量, , (, ) (3-3-10)顯然. (3-3-11)從而. (3-3-12)顯然這正是歐式距離。對(duì)于前面的例子，我們有 , , . (3-3-13) 當(dāng)，為精度加權(quán)距離。這里。下面以三樣本為例說明：. (3-3-14)對(duì)于前面表3-3-2中的例子，容易得到. (3-3-15) 當(dāng)時(shí)，為馬氏距離（Mahalanobis距離）。設(shè)表示協(xié)方差陣. (3-3-16)其中, () (3-3-17)這里, . (3-3-18)如果逆矩陣-1存在，則兩個(gè)樣本之間的馬氏距離可由下式定義; (3-3-19)樣本X到總體G的馬氏距離為. (3-3-20)式中為總體的均值向量。對(duì)于前面的例子，協(xié)方差矩陣為：表3-3-3 甲乙丙三城市的協(xié)方差矩陣類型協(xié)方差矩陣協(xié)差陣的逆矩陣變量人口產(chǎn)值面積人口產(chǎn)值面積人口866.667 306.667 473.333 -1.724E+136.099E+13-7.955E+12產(chǎn)值306.667 108.667 168.667 6.099E+13-2.158E+142.815E+13面積473.333 168.667 267.556 -7.955E+122.815E+13-3.671E+12即有,逆矩陣為.于是馬氏距離為.這是一個(gè)復(fù)數(shù)的距離。由此可見，馬氏距離不是在任何時(shí)候都可以在實(shí)數(shù)域取得的。馬氏距離具有如下優(yōu)點(diǎn)：a 排除了指標(biāo)間的相關(guān)性干擾；b 不受指標(biāo)量綱的影響；c 對(duì)原數(shù)據(jù)進(jìn)行線性變換之后，馬氏距離不變。 蘭氏距離（Canberra距離）由Lance和Williams最早提出，定義如下：. (3-3-21)對(duì)于前面的例子，我們有, 于是得到蘭氏距離. (3-3-22)蘭氏距離的有缺點(diǎn)如下：優(yōu)點(diǎn)：有助于克服各指標(biāo)間的量綱的影響；缺點(diǎn)：a 僅適用于xij0的情況；b 沒有考慮指標(biāo)之間的相關(guān)性。 自定義距離（customized distance）在一些統(tǒng)計(jì)軟件如SPSS中，可以根據(jù)研究的實(shí)際需要自己定義一個(gè)距離，定義的依據(jù)當(dāng)然是距離公理，一般的自定義距離公式如下：, () (3-3-23)在統(tǒng)計(jì)軟件中，允許適當(dāng)?shù)刈灾鬟x擇定義距離的參數(shù)，例如在SPSS中，選擇自定義距離時(shí)，默認(rèn)的冪（power, p）和根（root, r）為p=2，r=2，此時(shí)相當(dāng)于歐式距離。但用戶可以在14之間選擇p值和r值，如取p=3，r=4，從而定義自己的距離，如何定義取決研究問題的特性和需要，這要求對(duì)距離概念具有較深的理解，否則還是采用比較熟悉的距離公式。3 距離矩陣設(shè)樣本xi與xj之間的距離為dij，可得距離矩陣. (3-3-24)距離值越小，與越接近。例如，不管采用何種距離，前面三個(gè)城市之間兩兩距離求出之后，都可以構(gòu)造一個(gè)距離矩陣. (3-3-25)4 相似系數(shù)相似系數(shù)包括兩種相似的表示方法，即夾角余弦和相似系數(shù)。分別說明如下： 夾角余弦（Cosin）, (). (3-3-26) 相似系數(shù)(Pearson correlation), () (3-3-27)當(dāng)數(shù)據(jù)標(biāo)準(zhǔn)化以后，就有. (3-3-28)3 系統(tǒng)聚類的八種方法聚類分析不僅要甄別距離，而且要遴選方法。不同距離與方法的組合可以得到許多聚類途徑。以SPSS軟件為例，一共給了8種距離，7種方法，因此至少有78=56距離方式考慮到自定義距離，則聚類途徑還要多。但是，考慮到我們的研究對(duì)象的性質(zhì)和聚類目標(biāo)之后，可供選擇的途徑并不太多。這就要求我們熟悉各種的距離的有缺點(diǎn)和聚類方法的基本思路。 最短距離法（Nearest neighbor）考慮n個(gè)樣本構(gòu)成的距離矩陣，定義Gi與Gj之間的距離為兩類最近樣品的距離，即. (3-3-29)現(xiàn)在設(shè)Gp與Gq合并為一個(gè)新類記為Gr，則任意一類Gk與Gr的距離為. (3-3-30)下面用實(shí)例說明最短距離法聚類的一般步驟和方法。例子是引進(jìn)日本福岡甜桔，候選地點(diǎn)為：合肥、武漢、長沙、桂林、溫州、成都；變量有5個(gè)：年平均氣溫，年平均降雨量，年日照時(shí)數(shù)，年極端最低溫，一月份平均氣溫。原始數(shù)據(jù)見下表（表3-3-4）：表3-3-4 七個(gè)地點(diǎn)五種變量的數(shù)據(jù)變量福崗合肥武漢長沙桂林溫州成都年平均氣溫16.215.716.317.218.817.916.3年平均降雨量14929701260142218741698976年日照時(shí)數(shù)2000220920851726170918481239年極端最低氣溫-8.2-20.6-17.3-9.5-4.9-4.5-4.6一月份平均氣溫6.21.92.84.687.55.6來源：賀仲雄，王偉.決策科學(xué)：從最優(yōu)到滿意.重慶：重慶出版社，1988，p190。作者采用模糊數(shù)學(xué)中的“相似優(yōu)先法”處理這個(gè)問題，我們采用距離處理同一組數(shù)據(jù)，并與相似優(yōu)先法的結(jié)果比較。采用最短距離法聚類的過程如下： 計(jì)算樣本之間兩兩距離，建立歐式距離矩陣D。由于對(duì)稱性，可以只寫出下三角部分。對(duì)樣本進(jìn)行編號(hào)，記為17:Case1:福崗2:合肥3:武漢4:長沙5:桂林6:溫州7:成都1:福崗02:合肥562.4403:武漢247.27315.4204:長沙282.81661.61393.9405:桂林480.241033.20720.11452.3606:溫州256.04812.77498.20301.82224.2707:成都919.45970.16892.49660.391013.57944.550 找出非對(duì)角線元素的最小值，d56=224.27，將第5個(gè)樣本與第6個(gè)樣本合并。首先合并第5列和第6列，保留最短距離944.55。合并方法可以在Word的表格中采用合并單元格的方式。Case1:福崗2:合肥3:武漢4:長沙5:桂林6:溫州7:成都1:福崗02:合肥562.4403:武漢247.27315.4204:長沙282.81661.61393.9405:桂林480.241033.20720.11452.3606:溫州256.04812.77498.20301.82224.2707:成都919.45970.16892.49660.391013.57944.550然后合并第5行和第6行，原則依然是“兩數(shù)相遇取其短”。Case1:福崗2:合肥3:武漢4:長沙5:桂林6:溫州7:成都1:福崗02:合肥562.4403:武漢247.27315.4204:長沙282.81661.61393.9405:桂林480.241033.20720.11452.3606:溫州256.04812.77498.20301.82224.2707:成都919.45970.16892.49660.391013.57944.550 將合并的結(jié)果記為第8類，見下表：Case1:福崗2:合肥3:武漢4:長沙8:桂林,溫州7:成都1:福崗02:合肥562.4403:武漢247.27315.4204:長沙282.81661.61393.9408:桂林溫州256.04812.77498.20301.8207:成都919.45970.16892.49660.39944.550 在前述合并結(jié)果中找出對(duì)角線以外的最小距離，得到d13=247.27。然后重復(fù)上述合并過程。為了直觀，首先將第3列剪貼到第2列的后面：Case1:福崗3:武漢2:合肥4:長沙8:桂林,溫州7:成都1:福崗03:武漢247.270(315.42)2:合肥562.4404:長沙282.81393.94661.6108:桂林溫州256.04498.20812.77301.8207:成都919.45892.49970.16660.39944.550將對(duì)角線以上的元素剪貼到對(duì)角線下對(duì)稱的位置，然后合并列。為直觀，不妨抹去較大的數(shù)：Case1:福崗3:武漢2:合肥4:長沙8:桂林,溫州7:成都1:福崗03:武漢02:合肥315.4204:長沙282.81661.6108:桂林溫州256.04812.77301.8207:成都892.49970.16660.39944.550 逐行按列合并單元格：Case1:福崗，3:武漢2:合肥4:長沙8:桂林,溫州7:成都1:福崗03:武漢02:合肥315.4204:長沙282.81661.6108:桂林溫州256.04812.77301.8207:成都892.49970.16660.39944.550 逐列按行合并單元格，將合并結(jié)果記為第9類：Case9:福崗,武漢2:合肥4:長沙8:桂林,溫州7:成都9:福崗,武漢02:合肥315.4204:長沙282.81661.6108:桂林溫州256.04812.77301.8207:成都892.49970.16660.39944.550 在第二次合并的結(jié)果中找到最小距離d89=256.04，重復(fù)前述合并過程。為了直觀，首先將第8列剪貼到第9列后面，然后將第8行剪貼到第9行的后面：Case9:福崗,武漢8:桂林,溫州2:合肥4:長沙7:成都9:福崗,武漢08:桂林,溫州256.040(812.77)(301.82)2:合肥315.4204:長沙282.81661.6107:成都892.49944.55970.16660.390將出現(xiàn)在對(duì)角線以上的數(shù)據(jù)剪貼到對(duì)角線一線對(duì)應(yīng)的單元格中：Case9:福崗,武漢8:桂林,溫州2:合肥4:長沙7:成都9:福崗,武漢08:桂林,溫州256.0402:合肥315.42812.7704:長沙282.81301.82661.6107:成都892.49944.55970.16660.390逐行按列合并單元格：Case9:福崗,武漢;8:桂林,溫州2:合肥4:長沙7:成都9:福崗,武漢08:桂林,溫州02:合肥315.4204:長沙282.81661.6107:成都892.49970.16660.390逐列按行合并單元格，將合并結(jié)果記為第10類：Case10: 9:福崗,武漢;8:桂林,溫州2:合肥4:長沙7:成都 9:福崗,10: 武漢；8:桂林,溫州02:合肥315.4204:長沙282.81661.6107:成都892.49970.16660.390 在第三步合并的結(jié)果中，找到最小距離d4,10=282.81，然后重復(fù)上述合并過程。首先將第4行第4列剪貼到第10行第10列之下（后）：Case10: 9:福崗,武漢;8:桂林,溫州4:長沙2:合肥7:成都9:福崗,10: 武漢8:桂林,溫州04:長沙282.810(661.61)2:合肥315.4207:成都892.49660.39970.160將對(duì)角線以上的數(shù)據(jù)661.61剪貼到對(duì)角線以下對(duì)應(yīng)的位置：Case10: 9:福崗,武漢;8:桂林,溫州4:長沙2:合肥7:成都 9:福崗,10: 武漢;8:桂林,溫州04:長沙282.8102:合肥315.42661.6107:成都892.49660.39970.160 先合并列，再合并行，將結(jié)果記為第11類：Case11: 10: 9:福崗,武漢;8:桂林,溫州;4:長沙2:合肥7:成都9:福崗11: 武漢8:桂林10: 溫州4:長沙02:合肥315.4207:成都660.39970.160 在第四步合并的結(jié)果中，找到最小距離d2,11=315.42，然后重復(fù)上述合并過程。先合并列，后合并行，將結(jié)果記為第12類：Case12: 11: 10: 9:福崗,武漢;8:桂林,溫州;4:長沙;2:合肥7:成都9:福崗11: 武漢12:8:桂林10: 溫州4:長沙2:合肥07:成都660.390 最后一步合并，非常明顯：將第7類成都合并到前述結(jié)果中，記為第13類：Case13: 12: 11: 10: 9:福崗,武漢;8:桂林,溫州;4:長沙;2:合肥;7:成都9:福崗11: 武漢12:8:桂林10: 溫州4:長沙13:2:合肥7:成都0 總結(jié)合并的過程及其對(duì)應(yīng)的最小距離：表3-3-5 最小距離法聚類過程總結(jié)步驟距離合并的樣本第一步224.278：桂林，溫州第二步247.279：福岡，武漢第三步256.0410：桂林，溫州；福岡，武漢第三步282.8111：桂林，溫州；福岡，武漢；長沙第五步315.4212：桂林，溫州；福岡，武漢；長沙；合肥第六步660.3913：桂林，溫州；福岡，武漢；長沙；合肥；成都根據(jù)總結(jié)的步驟繪出聚類結(jié)果的譜系圖。下圖由Matlab給出（圖3-3-3）：圖3-3-3 基于歐式距離和最短距離法的聚類譜系圖 最長距離法（Furthest neighbor）考慮n個(gè)樣本構(gòu)成的距離矩陣，定義Gi與Gj之間的距離為兩類最近樣品的距離，即. (3-3-31)現(xiàn)在設(shè)Gp與Gq合并為一個(gè)新類記為Gr，則任意一類Gk與Gr的距離為. (3-3-32)仍用前例說明利用最長距離法聚類的一般步驟和方法。在距離矩陣中，找出非對(duì)角線元素的最小值，d56=224.27，將第5個(gè)樣本與第6個(gè)樣本合并。Case1:福崗2:合肥3:武漢4:長沙5:桂林6:溫州7:成都1:福崗02:合肥562.4403:武漢247.27315.4204:長沙282.81661.61393.9405:桂林480.241033.20720.11452.3606:溫州256.04812.77498.20301.82224.2707:成都919.45970.16892.49660.391013.57944.550首先合并第5列和第6列，保留最長距離1013.57。Case1:福崗2:合肥3:武漢4:長沙8:桂林，溫州7:成都1:福崗02:合肥562.4403:武漢247.27315.4204:長沙282.81661.61393.94