多元線性回歸分析

1、李國奇安貞醫(yī)院 ( (multiple linear regression)multiple linear regression) 第一節(jié)：多元線性回歸概念及統(tǒng)計(jì)描述 第二節(jié)：多元線性回歸假設(shè)檢驗(yàn) 第三節(jié)、多元線性回歸自變量的篩選 第四節(jié)：多元線性回歸應(yīng)用 第五節(jié)：多元線性回歸應(yīng)注意問題 第六節(jié)：實(shí)例分析(SAS) 概念：用于分析一個(gè)連續(xù)型因變量與多個(gè)自概念：用于分析一個(gè)連續(xù)型因變量與多個(gè)自變量之間的線性關(guān)系的統(tǒng)計(jì)學(xué)分析方法。變量之間的線性關(guān)系的統(tǒng)計(jì)學(xué)分析方法。 例：血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)例：血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙狀況、家族史慣、吸煙狀況、家族史 糖尿病人的

2、血糖與胰島素、糖化血紅蛋白、糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂血清總膽固醇、甘油三脂假定對(duì)假定對(duì)n n例觀察對(duì)象逐一測(cè)定了因變量例觀察對(duì)象逐一測(cè)定了因變量Y Y與與m m個(gè)自變量個(gè)自變量X1X1，X2,X2,XmXm的數(shù)值。的數(shù)值。 例號(hào)例號(hào) X1 X2 Xm Y 1 X11 X12 X1m Y1 2 X21 X22 X2m Y2 3 n Xn1 Xn2 Xnm Yn ppxxxy 22110平均值 多元線性回歸數(shù)學(xué)模型：多元線性回歸數(shù)學(xué)模型： 相應(yīng)的由樣本估計(jì)而得到的回歸模型：相應(yīng)的由樣本估計(jì)而得到的回歸模型： 其中表示Y的總體平均值的估計(jì)值， b0為常數(shù)項(xiàng)，也稱為

3、截距,bi為Xi的偏回歸系數(shù)，表示當(dāng)方程中其他自變量不變時(shí)，自變量Xi變化一個(gè)計(jì)量單位，反應(yīng)變量Y的總體平均值的估計(jì)值變化的單位數(shù).ppxbxbxby 22110b 因?yàn)楦髯宰兞慷加懈髯缘挠?jì)量單位以及不同的變異因?yàn)楦髯宰兞慷加懈髯缘挠?jì)量單位以及不同的變異度，所以不能直接用普通偏回歸系數(shù)的大小來比較度，所以不能直接用普通偏回歸系數(shù)的大小來比較方程中各個(gè)自變量對(duì)反應(yīng)變量方程中各個(gè)自變量對(duì)反應(yīng)變量Y Y的影響大小。需要求的影響大小。需要求出標(biāo)準(zhǔn)化偏回歸系數(shù)。出標(biāo)準(zhǔn)化偏回歸系數(shù)。 設(shè)：與一般回歸系數(shù)設(shè)：與一般回歸系數(shù)bibi對(duì)應(yīng)的標(biāo)準(zhǔn)化偏回歸系數(shù)為對(duì)應(yīng)的標(biāo)準(zhǔn)化偏回歸系數(shù)為BiBi，則，則 S SXiX

4、i、S SY Y分別為分別為XiXi和和Y Y的標(biāo)準(zhǔn)差。的標(biāo)準(zhǔn)差。 基本思想：利用收集到的因變量和自變量建立線性函數(shù)，使得每一個(gè)實(shí)際測(cè)量的Yi與估計(jì)的Yi之間的離差的平方和盡可能的小。 只有一個(gè)自變量時(shí)，回歸結(jié)果為二維平面的一條直線，而有兩個(gè)自變量時(shí)，結(jié)果為三維空間的一個(gè)平面，有更多的自變量時(shí)，回歸的結(jié)果則是在三維以上空間的“超平面”，無法直觀圖形表達(dá)，只能想象。（1）linear : Y與與X1， X2，, Xm之間具有線性關(guān)系。之間具有線性關(guān)系。（2）independent :各個(gè)體觀測(cè)值間相互獨(dú)立。各個(gè)體觀測(cè)值間相互獨(dú)立。（3）normal distribution :在一定范圍內(nèi)，對(duì)任

5、意一在一定范圍內(nèi)，對(duì)任意一組自變量組自變量X1， X2，, Xm值，值，Y都服從正態(tài)分布。都服從正態(tài)分布。（4）equal variance :在一定范圍內(nèi)，不同組自變量在一定范圍內(nèi)，不同組自變量對(duì)應(yīng)的對(duì)應(yīng)的Y具有相同方差。具有相同方差。 通過殘差分析可以深入了解實(shí)際資料是否符合回歸模型假設(shè)（如正態(tài)、方差齊） 決定系數(shù)：回歸平方和（SS回）在總平方和（ SS總）中比例。R2=SS回/SS總 0R21，R2接近1， 表示樣本數(shù)據(jù)很好的擬合了所用的線性回歸模型。 R2反映了線性回歸模型能多大程度上解釋Y的變異。 在多元線性回歸模型中，由于變量眾多，需要對(duì)模型的合理性以及參數(shù)的顯著性進(jìn)行檢驗(yàn)。一、回

6、歸方程的假設(shè)檢驗(yàn)（F檢驗(yàn)）H0 ：1=2=p=0 H1: 1,2p不全為0如果H0成立，認(rèn)為回歸方程不顯著，如果拒絕H0 ，認(rèn)為回歸方程顯著。 二、回歸系數(shù)的假設(shè)檢驗(yàn)（t檢驗(yàn)） 在F檢驗(yàn)中，如果拒絕H0假設(shè)，只能說1,2p不全為0，還需要進(jìn)一步檢查每個(gè)自變量的總體偏回歸系數(shù)。H0 : i=0, H1 : i0 (i=1,2p)如果H0成立，認(rèn)為偏回歸系數(shù)i不顯著，如果拒絕H0 ，認(rèn)為偏回歸系數(shù)i顯著。 多元回歸分析時(shí)收集的某些自變量對(duì)因變量無影影響或影響甚微；也不敢保證自變量之間是相互獨(dú)立的，因而在建立多元線性回歸方程時(shí)，需要使回歸方程盡可能包含對(duì)解釋因變量有較大貢獻(xiàn)的自變量，而把貢獻(xiàn)不大的或

7、無貢獻(xiàn)以及與其他自變量有密切關(guān)系的自變量排除。 1、殘差平方和（SS殘）縮小或決定系數(shù)（R2）增大R2=1- SS殘/ SS總 2、殘差均方（MS殘）縮小或調(diào)整決定系數(shù)（R2ad）增大 MS殘= SS殘/（n-p-1） 3、Cp統(tǒng)計(jì)量減小向前選擇法建模時(shí)沒有自變量，逐個(gè)加入自變量。并通過F檢驗(yàn)加入自變量對(duì)模型的影響是否顯著。顯著則保留此變量。向后刪除法建模時(shí)加入所有自變量，通過F檢驗(yàn)，逐個(gè)剔除在當(dāng)前模型中最不顯著的自變量，直到模型的變量都顯著為止。逐步篩選法為上述兩種方法的綜合，即每次首先加入一個(gè)變量，如果其對(duì)模型影響顯著，則保留，然后對(duì)當(dāng)前模型中的所有變量進(jìn)行檢查，剔除不顯著的變量。直到?jīng)]有

8、顯著變量加入且沒有不顯著變量剔除為止。最大R2改進(jìn)法最小R2改進(jìn)法R2選擇法修正R2選擇法Cp選擇法 定量的建立一個(gè)反應(yīng)變量和多個(gè)自變量之間的線性關(guān)系 篩選危險(xiǎn)因素 通過較易測(cè)算的變量估計(jì)不易測(cè)量的變量 通過反應(yīng)變量控制自變量多重共線性 除了LINE前提條件外，多元線性回歸還需要注意自變量之間的關(guān)系。當(dāng)自變量之間高度相關(guān)，則稱自變量存在多重共線性。共線性可使回歸系數(shù)極不穩(wěn)定，表現(xiàn)為回歸系數(shù)標(biāo)準(zhǔn)誤很大，以至于本來非常重要的自變量無統(tǒng)計(jì)意義而不能進(jìn)入方程，甚至使樣本回歸系數(shù)可大可小，可正可負(fù)，專業(yè)知識(shí)無法進(jìn)行解釋。 最簡單的處理辦法就是刪除變量：在相關(guān)性較強(qiáng)的變量中刪除測(cè)量誤差較大的、缺失數(shù)據(jù)多的

9、，專業(yè)角度看不是很重要的，也可采用主成分回歸法。交互效應(yīng) 當(dāng)回歸模型中有多于2個(gè)的自變量，變量之間可能存在交互作用（一自變量對(duì)應(yīng)變量的作用大小與另一個(gè)自變量的取值有關(guān)），此時(shí)可建立包含各自變量及其某些有交互作用的自變量的乘積（ X1X2）的回歸模型。 例如：A、B兩種藥物對(duì)帕金森綜合癥都有作用，而且相信聯(lián)合用藥效果更好，為探討聯(lián)合用藥可行性，進(jìn)行了隨機(jī)對(duì)照臨床試驗(yàn)。最終的得到的回歸方程為： =49-2.5X1+1.9X2+0.2X1X2非同質(zhì)性資料合并啞變量設(shè)置 多元線性回歸分析中自變量可以是連續(xù)的（年齡、血壓），也可以是二分類的（性別），不能把有序變量（高、中、低）和無序多分類變量直接納入分

10、析。必須先將有序變量或多分類無序變量轉(zhuǎn)換成多個(gè)二分類變量，再進(jìn)行回歸分析。 通徑分析 當(dāng)多元回歸自變量較多時(shí)，相互間的關(guān)系十分復(fù)雜，有的自變量并不是直接對(duì)反應(yīng)變量產(chǎn)生影響，而是通過對(duì)其他自變量的作用間接地影響反應(yīng)變量。通徑分析是一種在回歸基礎(chǔ)上的拓展，用以處理這種具有復(fù)雜變量關(guān)系的方法。 例如：回歸模型后，自變量X1 、 X2對(duì)Y貢獻(xiàn)甚微，但從專業(yè)知識(shí)考慮X1 、 X2是通過X3 、 X4影響Y的,這時(shí)就需要通徑分析。 步驟：1、根據(jù)專業(yè)知識(shí)繪制變量間的通徑圖。2、按照通徑圖建立線性方程。3、將各系數(shù)添加到通徑圖上。4、根據(jù)通徑圖計(jì)算各變量對(duì)Y的直接、間接效應(yīng)。 為分析各大學(xué)附近房屋價(jià)格及其相

11、關(guān)因素，統(tǒng)計(jì)了近期成交房屋售價(jià)和基本情況。試用回歸分析方法確定哪些因素對(duì)價(jià)格有明顯影響，并建立模型。占地面積占地面積稅率稅率教師學(xué)生比教師學(xué)生比臥室間數(shù)臥室間數(shù)總間數(shù)總間數(shù)居住面積居住面積價(jià)格價(jià)格0.857230.76471850152900采用REG過程對(duì)數(shù)據(jù)進(jìn)行多元線性回歸分析，編程如下：data house; /*建立數(shù)據(jù)集house*/ input land tax ratio bedrooms rooms area price; /*要輸入的變量*/ cards;。 ;proc reg data=house; /*采用reg過程進(jìn)行多元回歸分析*/ model price=land tax ratio bedrooms rooms area;run;proc reg data=house; /*采用采用reg過程進(jìn)行多元回歸分析過程進(jìn)行多元回歸分析*/ model price=land tax ratio bedrooms rooms area /s