主成分分析在STATA中的實(shí)現(xiàn)以及理論介紹

1、第十二章 主成分分析主成分分分析也稱作主分量分析，是霍特林(Hotelling)在1933年首先提出。主成分分析是利用降維的思想，在損失較少信息的前提下把多個指標(biāo)轉(zhuǎn)化為較少的綜合指標(biāo)。轉(zhuǎn)化生成的綜合指標(biāo)即稱為主成分，其中每個主成分都是原始變量的線性組合，且各個主成分互不相關(guān)。Stata對主成分分析的主要內(nèi)容包括：主成分估計(jì)、主成分分析的恰當(dāng)性（包括負(fù)偏協(xié)方差矩陣和負(fù)偏相關(guān)系數(shù)矩陣、KMO(Kaiser-Meyer-Olkin)抽樣充分性、復(fù)相關(guān)系數(shù)、共同度等指標(biāo)測度）、主成分的旋轉(zhuǎn)、預(yù)測、各種檢驗(yàn)、碎石圖、得分圖、載荷圖等。 主成分的模型表達(dá)式為：其中，a稱為得分，b稱為載荷。主成分分析主要的

2、分析方法是對相關(guān)系數(shù)矩陣（或協(xié)方差矩陣）進(jìn)行特征值分析。Stata中可以通過負(fù)偏相關(guān)系數(shù)矩陣、負(fù)相關(guān)系數(shù)平方和KMO值對主成分分析的恰當(dāng)性進(jìn)行分析。負(fù)偏相關(guān)系數(shù)矩陣即變量之間兩兩偏相關(guān)系數(shù)的負(fù)數(shù)。非對角線元素則為負(fù)的偏相關(guān)系數(shù)。如果變量之間存在較強(qiáng)的共性，則偏相關(guān)系數(shù)比較低。因此，如果矩陣中偏相關(guān)系數(shù)較高的個數(shù)比較多，說明某一些變量與另外一些變量的相關(guān)性比較低，主成分模型可能不適用。這時，主成分分析不能得到很好的數(shù)據(jù)約化效果。Kaiser-Meyer-Olkin抽樣充分性測度也是用于測量變量之間相關(guān)關(guān)系的強(qiáng)弱的重要指標(biāo)，是通過比較兩個變量的相關(guān)系數(shù)與偏相關(guān)系數(shù)得到的。KMO介于0于1之間。KM

3、O越高，表明變量的共性越強(qiáng)。如果偏相關(guān)系數(shù)相對于相關(guān)系數(shù)比較高，則KMO比較低，主成分分析不能起到很好的數(shù)據(jù)約化效果。根據(jù)Kaiser（1974），一般的判斷標(biāo)準(zhǔn)如下：0.00-0.49,不能接受（unacceptable）;0.50-0.59,非常差（miserable）；0.60-0.69，勉強(qiáng)接受（mediocre）；0.70-0.79,可以接受（middling）；0.80-0.89，比較好（meritorious）；0.90-1.00,非常好（marvelous）。SMC即一個變量與其他所有變量的復(fù)相關(guān)系數(shù)的平方，也就是復(fù)回歸方程的可決系數(shù)。SMC比較高表明變量的線性關(guān)系越強(qiáng)，共性越

4、強(qiáng)，主成分分析就越合適。成分載荷、KMO、SMC等指標(biāo)都可以通過extat命令進(jìn)行分析。多元方差分析是方差分析在多元中的擴(kuò)展，即模型含有多個響應(yīng)變量。本章介紹多元（協(xié)）方差分析以及霍特林（Hotelling)均值向量T檢驗(yàn)。12.1 主成分估計(jì)Stata可以通過變量進(jìn)行主成分分析，也可以直接通過相關(guān)系數(shù)矩陣或協(xié)方差矩陣進(jìn)行。（1）sysuse auto,clearpca trunk weight length headroompca trunk weight length headroom, comp(2) covariance（2）webuse bg2,clearpca bg2cost*,

5、vce(normal)12.2 Estatestat給出了幾個非常有用的工具，包括KMO、SMC等指標(biāo)。webuse bg2,clearpca bg2cost*, vce(normal)estat antiestat kmoestat loadingsestat residualsestat smcestat summarize12.3 預(yù)測Stata可以通過predict預(yù)測變量得分、擬合值和殘差等。webuse bg2,clearpca bg2cost*, vce(normal)predict score fit residual q （備注：q代表殘差的平方和）12.4 碎石圖碎石圖是判

6、斷保留多少個主成分的重要方法。命令為screeplot。webuse bg2,clearpca bg2cost*, vce(normal)screeplot12.5 得分圖、載荷圖得分圖即不同主成分得分的散點(diǎn)圖。命令為scoreplot。webuse bg2,clearpca bg2cost*, vce(normal)scoreplot載荷圖即不同主成分載荷的散點(diǎn)圖。命令為loadingplot。webuse bg2,clearpca bg2cost*, vce(normal)loadingplot12.6 旋轉(zhuǎn)對載荷進(jìn)行旋轉(zhuǎn)的命令格式為rotate。webuse bg2,clearpca b

7、g2cost*, vce(normal)rotate例：對中國30個省市自治區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)主成分分析，原始數(shù)據(jù)如下表：省份GDP (億元）居民消費(fèi)水平(元） 固定資產(chǎn)投資(億元) 職工平均工資（元）貨物周轉(zhuǎn)量 (億噸公里) 居民消費(fèi)價格指數(shù) (上年100) 商品零售價格指數(shù) (上年100) 工業(yè)總產(chǎn)值 (億元) areax1x2x3x4x5x6x7x8 北 京10488.03203463814.756328758.9105.1104.410413 天 津6354.38140003389.8417482703.4105.4105.112503 河 北16188.6165708866

8、.6247565925.5106.2106.723031 山 西6938.7361873531.2258282562.2107.2107.210024 內(nèi)蒙古7761.881085475.4261143658.7105.7104.78740.2 遼 寧13461.57962510019.1277297033.9104.6105.324769 吉 林6424.0675915038.9234861157.8105.1106.28406.9 黑龍江831070393656230461690.9105.6105.87624.5 上 海1369815656516029.8105

9、.8105.325121 江 蘇30312.611101315300.6316674300.9105.4104.967799 浙 江21486.92138939323341464974.9105106.340832 安 徽8874.1763776747263635843.2106.2106.311162 福 建10823.11103615207.7257022396.2104.6105.715213 江 西6480.3357534745.4210002285.5106106.18499.6 山 東31072.06957315435.92640410107.8105.3104.962959 河

10、南18407.78587710490.6248165165.1107107.526028 湖 北11330.3874065647227392526.4106.3106.313455 湖 南11156.6471455534248702349.8106105.611553 廣 東35696.461439010868.7331104428.4105.610665425 廣 西7171.5861033756.4256602079107.8107.66072 海 南1459.236550705.421864597.7106.9106.71103.1 重 慶5096.6698353979.62698514

11、90.3105.61055755.9 四 川12506.2560727127.8250381578.7105.1105.314762 貴 州3333.444261864.524602805.3107.6107.23111.1 云 南5700.145533435.924030821.3105.7106.15144.6 西 藏395.913504309.94728035.5105.7103.948.19 陜 西6851.3262904614.4259422027106.4106.97480.8 甘 肅3176.1148691712.8240171594.9108.2107.93667.5 青 海9

12、61.535830583.230983335.7110.1110.61103.1 寧 夏1098.517193828.930719703.6108.5108.51366.5 新 疆4203.4155422260246871273108.1108.54276.1數(shù)據(jù) ：來源于2009年中國統(tǒng)計(jì)年鑒程序：clear*定義變量的標(biāo)簽label var area 省份label var x1 GDP (億元）label var x2 居民消費(fèi)水平(元）label var x3 固定資產(chǎn)投資(億元)label var x4 職工平均工資（元）label var x5 貨物周轉(zhuǎn)量 (億噸公里)label

13、var x6 居民消費(fèi)價格指數(shù) (上年100) label var x7 商品零售價格指數(shù) (上年100)label var x8 工業(yè)總產(chǎn)值 (億元)describepca x1-x8 /*主成分估計(jì)*/estat kmo /*KMO檢驗(yàn)，越高越好*/estat smc /*SMC檢驗(yàn)，值越高越好*/screeplot /* 碎石圖（特征值等于1處的水平線標(biāo)示保留主成分的分界點(diǎn)）*/predict score fit residual q /*預(yù)測變量得分、擬合值和殘差以及殘差的平方和*/predict f1 f2 fpredict q1 q2 q3scoreplot,mlabel(area

14、) yline(0) xline(0) /*得分圖1*/scoreplot,xtitle(經(jīng)濟(jì)社會總量) ytitle(人民生活水平) /mlabel(area) yline(0) xline(0) /*得分圖*/scatter f2 f3,xtitle(人民生活水平) ytitle(物價水平) /mlabel(area) yline(0) xline(0) /*得分圖*/scoreplot, factors(3) mlabel(area) /*得分圖*/scoreplot,combined factors(3) mlabel(area) yline(0) xline(0) /*得分圖*/lo

15、adingplot , yline(0) xline(0)/*載荷圖 */loadingplot , combined factors(3) yline(0) xline(0)/*載荷圖 */rotate /*旋轉(zhuǎn)*/分析：先對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后，接著進(jìn)行主成分分析，可以得到：表：R的特征值和特征向量主成分特征值方差貢獻(xiàn)率累計(jì)貢獻(xiàn)率14.254882.502580.531921.75229.5375380.750931.21475.7609160.90274.453839.2607010.95955.193137.1241410.98366.0689962.02734640.99227.04

16、16498.02119450.99748.0204553.1.0000從表中看到，前3個特征值累計(jì)貢獻(xiàn)率已達(dá)90.27%，說明前3個主成分基本包含了全部指標(biāo)具有的信息，我們?nèi)∏?個特征值。通過對載荷矩陣進(jìn)行旋轉(zhuǎn)，可得到，相應(yīng)的特征向量，見下表：第一、第二、第三特征值向量 第一特征向量第二特征向量第三特征向量x1_s0.42490.30640.1079x2_s0.3217-0.44670.3101x3_s0.40570.3855-0.0181x4_s0.1856-0.61000.2536x5_s0.3520-0.05100.3714x6_s-0.34440.14270.5784x7_s-0.31

17、180.27670.5769x8_s0.42090.29380.1495因而前三個主成分為：第一主成分: F10.4249x1+0.3217x2_s+0.4057x3_s+0.1856x4_s+0.3520 x5_s-0.3444x6_s-0.3118x7_s+0.4209x8_s第二主成分: F20.3064x1-0.4467x2_s+0.3855x3_s-0.6100 x4_s-0.0510 x5_s+0.1427x6_s+0.2767x7_s+0.2938x8_s第三主成分: F30.1079x1+0.3101x2_s-0.0181x3_s+0.2536x4_s+0.3714x5_s-0

18、.5784x6_s+0.5769x7_s+0.1495x8_s在第一主成分的表達(dá)式中第一、第三、第八項(xiàng)指標(biāo)的系數(shù)較大，這三項(xiàng)指標(biāo)起主要作用，我們可以把第一主成分看成是由國內(nèi)生產(chǎn)總值、固定資產(chǎn)投資、工業(yè)總產(chǎn)值所刻劃的反映經(jīng)濟(jì)社會總量的綜合指標(biāo)；在第二主成分中，第二、第三、第四項(xiàng)指標(biāo)的影響大，且第二、第四項(xiàng)的影響較大，因此可以把第二主成分看成是由居民消費(fèi)水平、職工平均工資表示的反映人民生活水平的綜合指標(biāo)；在第三主成分中，第六、第七項(xiàng)指標(biāo)大于其余的指標(biāo)，可看成是受居民消費(fèi)價格指數(shù)、商品零售價格指數(shù)的影響，反映物價水平的綜合指標(biāo)。在這次的主成分分析里面，我們可以進(jìn)行些檢驗(yàn)以驗(yàn)證我們分析的效果，通過KMO檢驗(yàn)和SMC檢驗(yàn)，得到了下面的檢驗(yàn)值：變量的KMO、SMC值表變量KMO值SMC值x1_s0.74230.9656x2_s0.53610.8366x3_s0.77060.9276x4_s0.47370.7647x5_s0.67940.6515x6_s0.54670.8837x7_s0.54820.8627x8_s0.76920.9591合計(jì)0.6447-Kaiser-Meyer-Olkin抽樣充分性測度也是用于測量變量之間相關(guān)關(guān)系的強(qiáng)弱的重要指標(biāo)，是通過比較兩個變量的相關(guān)系數(shù)與偏相關(guān)系數(shù)得到的。KMO介于0于1之間。KMO越高，表明變量的共性越強(qiáng)。如