相關(guān)分析與多元回歸分析.doc

7 4 多元線性回歸 7 4 1 方法概述方法概述 1 模型的建立 多元線性回歸分析是研究一個因變量與多個自變量間關(guān)系的統(tǒng)計方 法 模型可寫成為 截距 bi i 1 k 稱為偏回歸系數(shù) 表示當(dāng)其余自變量固定時 Xi變化一個單位時 因變量 Y 的平均變化量 回歸系數(shù)的估計仍根據(jù)最小二乘原理 求 b0 b1 bk使得達(dá)到最小 多元回歸模型的參數(shù)估計不能象直線回歸那樣可以直接寫出表達(dá)式 矩陣形式 由于各自變量的單位不同 為此要運用標(biāo)準(zhǔn)化偏回歸系數(shù) 先作變量的標(biāo)準(zhǔn)化 即作變換 i ii i s XX X 標(biāo)準(zhǔn)化偏回歸系數(shù) bi 表示當(dāng)其它自變量固定時 Xi變化一個標(biāo)準(zhǔn)差 時 因變量 Y 變化的標(biāo)準(zhǔn)差單位數(shù) bi 沒有單位 所以可以用它們 的絕對值大小來說明各自變量的重要性 其值越大 對因變量的作 用越大 以 bi 表示 Xi的標(biāo)準(zhǔn)化偏回歸系數(shù) 則 2 假設(shè)檢驗 1 離均差平方和的分解 與直線回歸一樣 多元回歸時亦可將因變量的離均差平方和可分解 為兩部分 SST 總 SSR 回歸 SSE 剩余 回歸平方和越大 回歸的效果越好 回歸平方和與總離均差平方 和的比值稱為決定系數(shù)決定系數(shù) coefficient of determination R2 其計算公式 同稱為復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù) 表示多個自變量共同對因變量的相關(guān)密切程度 回歸平方和 SSR 是多個自變量共同的貢獻 要研究每個自變量對因 變量的作用 還需將 SSR 按個自變量的貢獻進行分解 SSR SSR1 SSRkSSRi稱 為偏回歸平方和 表示扣除其它自變量的作用后 由自變量 Xi對因 變量 Y 變異的貢獻 顯然自變量的偏回歸平方和越大 該變量對 Y 的貢獻越大 該變量在回歸中所起的作用也越大 偏回歸平方和與 總離均差平方和的比值 稱為偏決定系數(shù) 2 方差分析法 模型中各回歸系數(shù)的總體值只要有一個不為零 則模型就有意義 對所有總體回歸系數(shù)為零的檢驗需計算檢驗統(tǒng)計量 F 求得 F 值后 MSE MSR SSE SSR F E R RE knk 1 按 F 分布 F k n k 1 確定 P 值 再根據(jù)檢驗水準(zhǔn)作出推斷結(jié)論 而檢驗每一個變量作用的顯著性 可以計算 MSE MSR SSE 1 SSR F E i 3 偏回歸系數(shù)的標(biāo)準(zhǔn)誤與 t 檢驗 扣除所有自變量的作用后 因變量的變異稱為剩余標(biāo)準(zhǔn)差 記作因 而有關(guān)于總體偏回歸系數(shù)為零的 t 檢驗 例例 8 4 續(xù)例 8 1 用回歸分析研究因變量肺活量 Y ml 與自變量 體重 X1 胸圍 X2 胸圍的呼吸差 X3 的關(guān)系 并比較各自變量 對 Y 作用的大小 SAS 程序 DATA REG2 INPUT X1 X2 X3 Y CARDS 35 69 0 7 1600 40 74 2 5 2600 42 65 3 0 2500 PROC REG MODEL Y X1 X3 STB RUN 輸出結(jié)果如下 Model MODEL1 Dependent Variable Y 第一部分 Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob F Model 3 1250109 0678 416703 02259 5 617 0 0355 Error 6 445140 93222 74190 15537 C Total 9 1695250 0000 Root MSE 272 37870 R square 0 7374 Dep Mean 2315 00000 Adj R sq 0 6061 C V 11 76582 第二部分 Parameter Estimates N 10 Regression Models for Dependent Variable Y 方差分析結(jié)果 F 5 617 P 0 035 說明整個模型有意義 建立回歸方程如下 y hat 3035 54 60 93X1 37 81X2 101 38X3 X1 X2 X3 的標(biāo)準(zhǔn)化回歸系數(shù)分別為 0 4645 0 3917 0 2540 所以體重對肺 活量的影響 最大 值得注意的是 各回歸系數(shù)的假設(shè)檢驗結(jié)果均不顯著 這說明方程建立的不是 最好 需進一步對變量進行篩選 7 5 逐步回歸 7 5 1 概述概述 上面介紹建立多元回歸方程的方法時 將所有的自變量都引入方程 但各自變 量的作用有大有小 而我們建立回歸方程時既不能丟掉對因變量貢獻大的自變 量 也不希望引入貢獻不顯著的自變量 還要避免上述的多重共線性問題 因 此 需要在自變量中有所選擇 把真正有統(tǒng)計意義的部分找出來 建立較理想 的模型 較高的預(yù)測 預(yù)報精度 模型也不太復(fù)雜 自變量選擇方法 1 所有可能子集回歸 2 前進法 3 后退法 4 逐步法 該法是前進法與后退法的結(jié)合 它對自變量建立一套雙向篩選程序 將自變量一個個引入 引入的條件是該變量的偏回歸平方和經(jīng)檢驗是顯著的 同時 每引入一個新變量后 要對老變量逐個檢驗 剔除偏回歸平方和不顯著 的變量 注意的是 逐步法選出的模型與選擇變量的標(biāo)準(zhǔn)有關(guān) 而且按前述選擇模型的 準(zhǔn)則 一般只是較優(yōu)的模型 而不是 最優(yōu) 的 另外 建立的模型應(yīng)該符合 專業(yè)知識 因此 實際應(yīng)用中 應(yīng)該將專業(yè)上的考慮 自變量選擇準(zhǔn)則和逐步 法結(jié)合起來使用 以期得到較為理想 合理的模型 7 5 2 實例實例 例例 8 6 續(xù)例 8 4 利用自變量選擇準(zhǔn)則和逐步回歸方法 建立肺活量與體重 胸圍以及胸圍的呼吸差間的較為合理的模型 編寫 SAS 程序如下 DATA 步略 PROC REG MODEL Y X1 X3 SELECTION CP AIC ADJRSQ RUN PROC REG MODEL Y X1 X3 SELECTION STEPWISE PROC REG MODEL Y X1 X3 SELECTION STEPWISE SLENTRY 0 3 SLSTAY 0 3 RUN 上述程序的第一個 REG 輸出結(jié)果如下 Stepwise Procedure for Dependent Variable Y Step 1 Variable X3 Entered R square 0 53118453 C p 4 71246471 DF Sum of Squares Mean Square F Prob F Regression 1 9 06 0 0168 Error 8 Total 9 Parameter Standard Type II Variable Estimate Error F Prob F INTERCEP 44 22 0 0002 X3 9 06 0 0168 Step 2 Variable X1 Entered R square 0 61896273 C p 4 70672706 DF Sum of Squares Mean Square F Prob F Regression 2 5 69 0 0341 Error 7 Total 9 Parameter Standard Type II Variable Estimate Error Sum of Squares F Prob F INTERCEP 0 02 0 9031 X1 1 61 0 2447 X3 2 51 0 1572 Step 3 Variable X2 Entered R square 0 73741871 C p 4 00000000 DF Sum of Squares Mean Square F Prob F Regression 3 5 62 0 0355 Error 6 Total 9 Parameter Standard Type II Variable Estimate Error Sum of Squares F Prob F INTERCEP 1 96 0 2111 X1 2 82 0 1442 X2 2 71 0 1510 X3 0 69 0 4377 Step 4 Variable X3 Removed R square 0 70718629 C p 2 69081285 DF Sum of Squares Mean Square F Prob F Regression 2 8 45 0 0136 Error 7 Total 9 arameter Standard Type II Variable Estimate Error Sum of Squares F Prob F INTERCEP 6 59 0 0371 X1 8 69 0 0215 X2 5 37 0 0535 All variables in the model are significant at the 0 3000 level No other variable met the 0 3000 significance level for entry into the model Summary of Stepwise Procedure for Dependent Variable Y Variable Number Partial Model Step Entered Removed In R 2 R 2 C p F Prob F 1 X3 1 0 5312 0 5312 4 7125 9 0643 0 0168 2 X1 2 0 0878 0 6190 4 7067 1 6126 0 2447 3 X2 3 0 1185 0 7374 4 0000 2 7067 0 1510 4 X3 2 0 0302 0 7072 2 6908 0 6908 0 4377 采用逐步法選擇自變量 但進入方程和剔除出方程的顯著性水平為 0 3 結(jié)果是 X3 X1 X2 依次被選入方程 但 X1 X2 進入方程 后 X3 的作用變得不顯著 因而最后從方程中剔除出去 最終的方 程為 y hat 4187 42 80 27X1 46 45X2 R2 0 7072 這個方程的回歸效果與用三個變量建立的方程效果相差無幾 應(yīng)是較為理想的選擇 7 6 相關(guān)分析 描述兩個變量間相關(guān)關(guān)系的統(tǒng)計指標(biāo)稱為相關(guān)系數(shù) 現(xiàn)以兩個變量 的直線相關(guān)分析為例 說明相關(guān)系數(shù)的意義 研究變量 X 和 Y 的直線相關(guān)關(guān)系用直線相關(guān)系數(shù) 記為 r 其計算 公式為 1 r 1 r 為總體相關(guān)系數(shù) 的樣本估計值 所以一般還要需做 0 的假設(shè)檢驗 7 6 1 CORR 過程過程 1 CORR 過程的語句組成 PROC CORR options VAR 變量表 WITH 變量表 PARTIAL 變量表 WEIGHT 變量 BY 變量表 END 2 CORR 過程的語句說明 1 PROC CORR 語句 格式 PROC CORR options 選擇項主要有 PEARSON 計算通常的 Pearson 相關(guān)系數(shù) 即直線相關(guān)系 數(shù) 是缺省值 OUT dataset 產(chǎn)生含有 Pearson 相關(guān)系數(shù)的一個新數(shù)據(jù)集 NOMISS 將帶有某一變量缺失值的觀測值從所有計算中 除去 NOSIMPLE 取消打印每個變量的描述統(tǒng)計量 2 WITH 語句 指明配對的變量名 與 VAR 語句配合使用 VAR 語句列出相關(guān) 矩陣上部出現(xiàn)的變量 WITH 語句列出左側(cè)出現(xiàn)的變量 使用 WITH 語句后 把變量分成 WITH 組和非 WITH 組 只計算兩組間 兩兩變量的相關(guān)系數(shù) 3 PARTIAL 語句 作偏相關(guān)分析時 指定相對固定的那些變量 此時將自動激活 NOMISS 選擇項 注意 PARTIAL 語句指定的變量名不能出現(xiàn)在 VAR 或 WITH 語句中 7 6 2 實例實例 例例 研究肺活量時測得 10 名女中學(xué)生體重 x1 kg 胸圍 x2 cm 呼 吸差 x3 cm 及肺活量 y ml 數(shù)據(jù)如下 DATA CORR1 INPUT X1 X2 X3 Y CARDS 35 69 0 7 1600 4074 2 5 2600 42 65 3 0 2500 PROC CORR VAR X1 X2 X3 Y RUN PROC CORR NOSIMPLE VAR Y WITH X2 X3 PARTIAL X1 RUN 結(jié)果如下 CORRELATION ANALYSIS 4 VAR Variables X1 X2 X3 Y Simple Statistics Variable N Mean Std Dev Sum Minimum Maximum X1 X2 X3 Y CORRELATION ANALYSIS Pearson Correlation Coefficients Prob R under Ho Rho 0 N 10 X1 X2 X3 Y X1 1 00000 0 43195 0 64093 0 69454 0 0 0 2125 0 0458 0 0258 X2 0 43195 1 00000 0 62927 0 76165 0 2125 0 0 0 0513 0 0105 X3 0 6