多元回歸及復(fù)相關(guān)分析

多元回歸及復(fù)相關(guān)分析第一頁，共三十七頁，2022年，8月28日2023/1/292一元線性回歸多元線性回歸回歸分析數(shù)學模型及定義*模型參數(shù)估計*檢驗、預(yù)測與控制可線性化的一元非線性回歸（曲線回歸）數(shù)學模型及定義*模型參數(shù)估計*多元線性回歸中的檢驗與預(yù)測逐步回歸分析第二頁，共三十七頁，2022年，8月28日2023/1/293§11.1、多元線性回歸方程第三頁，共三十七頁，2022年，8月28日2023/1/294一、多元線性回歸模型第四頁，共三十七頁，2022年，8月28日2023/1/295二、模型參數(shù)估計解得估計值第五頁，共三十七頁，2022年，8月28日2023/1/296第六頁，共三十七頁，2022年，8月28日2023/1/297三、多元線性回歸中的檢驗與預(yù)測

（Ⅰ）F檢驗法(殘差平方和）第七頁，共三十七頁，2022年，8月28日2023/1/298三、多元線性回歸中的檢驗與預(yù)測（Ⅱ）r檢驗法第八頁，共三十七頁，2022年，8月28日2023/1/2992、預(yù)測（1）點預(yù)測（2）區(qū)間預(yù)測第九頁，共三十七頁，2022年，8月28日2023/1/2910四、逐步回歸分析（4）“有進有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個變量開始，把變量逐個引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法：

“最優(yōu)”的回歸方程就是包含所有對Y有影響的變量,而不包含對Y影響不顯著的變量回歸方程。

以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.第十頁，共三十七頁，2022年，8月28日2023/1/2911

這個過程反復(fù)進行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時為止。逐步回歸分析法的思想：

從一個自變量開始，視因變量Y作用的顯著程度，從大到小地依次逐個引入回歸方程。

當引入的自變量由于后面變量的引入而變得不顯著時，要將其剔除掉。

引入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸的一步。

對于每一步都要進行Y值檢驗，以確保每次引入新的顯著性變量前回歸方程中只包含對Y作用顯著的變量。第十一頁，共三十七頁，2022年，8月28日2023/1/2912統(tǒng)計工具箱中的回歸分析命令1、多元線性回歸2、多項式回歸3、非線性回歸4、逐步回歸第十二頁，共三十七頁，2022年，8月28日2023/1/2913多元線性回歸

b=regress(Y,X)1、確定回歸系數(shù)的點估計值：第十三頁，共三十七頁，2022年，8月28日2023/1/29143、畫出殘差及其置信區(qū)間：

rcoplot（r，rint）2、求回歸系數(shù)的點估計和區(qū)間估計、并檢驗回歸模型：

[b,bint,r,rint,stats]=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計殘差用于檢驗回歸模型的統(tǒng)計量，有三個數(shù)值：相關(guān)系數(shù)r2、F值、與F對應(yīng)的概率p置信區(qū)間

顯著性水平（缺省時為0.05）第十四頁，共三十七頁，2022年，8月28日2023/1/2915例1解：1、輸入數(shù)據(jù)：

x=[143145146147149150153154155156157158159160162164]';X=[ones(16,1)x];Y=[8885889192939395969897969899100102]';2、回歸分析及檢驗：

[b,bint,r,rint,stats]=regress(Y,X)b,bint,statsToMATLAB(liti11)題目第十五頁，共三十七頁，2022年，8月28日2023/1/29163、殘差分析，作殘差圖：

rcoplot(r,rint)

從殘差圖可以看出，除第二個數(shù)據(jù)外，其余數(shù)據(jù)的殘差離零點均較近，且殘差的置信區(qū)間均包含零點，這說明回歸模型y=-16.073+0.7194x能較好的符合原始數(shù)據(jù)，而第二個數(shù)據(jù)可視為異常點.4、預(yù)測及作圖：z=b(1)+b(2)*xplot(x,Y,'k+',x,z,'r')返回ToMATLAB(liti12)第十六頁，共三十七頁，2022年，8月28日2023/1/2917多項式回歸（一）一元多項式回歸

（1）確定多項式系數(shù)的命令：[p，S]=polyfit（x，y，m）（2）一元多項式回歸命令：polytool（x，y，m）1、回歸：y=a1xm+a2xm-1+…+amx+am+12、預(yù)測和預(yù)測誤差估計：（1）Y=polyval（p，x）求polyfit所得的回歸多項式在x處的預(yù)測值Y；（2）[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回歸多項式在x處的預(yù)測值Y及預(yù)測值的顯著性為1-alpha的置信區(qū)間YDELTA；alpha缺省時為0.5.第十七頁，共三十七頁，2022年，8月28日2023/1/2918法一

直接作二次多項式回歸：

t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];

[p,S]=polyfit(t,s,2)ToMATLAB（liti21）得回歸模型為：第十八頁，共三十七頁，2022年，8月28日2023/1/2919法二化為多元線性回歸：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];T=[ones(14,1)t'(t.^2)'];[b,bint,r,rint,stats]=regress(s',T);b,statsToMATLAB(liti22)得回歸模型為：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')預(yù)測及作圖ToMATLAB(liti23)第十九頁，共三十七頁，2022年，8月28日2023/1/2920（二）多元二項式回歸命令：rstool（x，y，’model’,alpha）nm矩陣顯著性水平（缺省時為0.05）n維列向量第二十頁，共三十七頁，2022年，8月28日2023/1/2921

例3

設(shè)某商品的需求量與消費者的平均收入、商品價格的統(tǒng)計數(shù)據(jù)如下，建立回歸模型，預(yù)測平均收入為1000、價格為6時的商品需求量.法一

直接用多元二項式回歸：x1=[10006001200500300400130011001300300];x2=[5766875439];y=[10075807050659010011060]';x=[x1'x2'];rstool(x,y,'purequadratic')第二十一頁，共三十七頁，2022年，8月28日2023/1/2922

在畫面左下方的下拉式菜單中選”all”,則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。

則畫面左邊的“PredictedY”下方的數(shù)據(jù)變?yōu)?8.47981，即預(yù)測出平均收入為1000、價格為6時的商品需求量為88.4791.第二十二頁，共三十七頁，2022年，8月28日2023/1/2923在Matlab工作區(qū)中輸入命令：beta,rmseToMATLAB(liti31)第二十三頁，共三十七頁，2022年，8月28日2023/1/2924結(jié)果為:b=110.53130.1464-26.5709-0.00011.8475stats=0.970240.66560.0005法二ToMATLAB(liti32)返回將

化為多元線性回歸：第二十四頁，共三十七頁，2022年，8月28日2023/1/2925非線性回歸（1）確定回歸系數(shù)的命令：

[beta，r，J]=nlinfit（x，y，’model’,beta0）（2）非線性回歸命令：nlintool（x，y，’model’,beta0，alpha）1、回歸：殘差Jacobian矩陣回歸系數(shù)的初值是事先用m-文件定義的非線性函數(shù)估計出的回歸系數(shù)輸入數(shù)據(jù)x、y分別為矩陣和n維列向量，對一元非線性回歸，x為n維列向量。2、預(yù)測和預(yù)測誤差估計：[Y，DELTA]=nlpredci（’model’,x，beta，r，J）求nlinfit或nlintool所得的回歸函數(shù)在x處的預(yù)測值Y及預(yù)測值的顯著性為1-alpha的置信區(qū)間YDELTA.第二十五頁，共三十七頁，2022年，8月28日2023/1/2926例4

對第一節(jié)例2，求解如下：2、輸入數(shù)據(jù)：

x=2:16;y=[6.428.209.589.59.7109.939.9910.4910.5910.6010.8010.6010.9010.76];beta0=[82]';3、求回歸系數(shù)：

[beta,r,J]=nlinfit(x',y','volum',beta0)；

beta得結(jié)果：beta=11.6036-1.0641即得回歸模型為：ToMATLAB(liti41)題目第二十六頁，共三十七頁，2022年，8月28日2023/1/29274、預(yù)測及作圖：

[YY,delta]=nlpredci('volum',x',beta,r,J)；

plot(x,y,'k+',x,YY,'r')ToMATLAB(liti42)第二十七頁，共三十七頁，2022年，8月28日2023/1/2928例5財政收入預(yù)測問題：財政收入與國民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝?、就業(yè)人口、固定資產(chǎn)投資等因素有關(guān)。下表列出了1952-1981年的原始數(shù)據(jù)，試構(gòu)造預(yù)測模型。

解設(shè)國民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝?、就業(yè)人口、固定資產(chǎn)投資分別為x1、x2、x3、x4、x5、x6，財政收入為y，設(shè)變量之間的關(guān)系為：y=ax1+bx2+cx3+dx4+ex5+fx6使用非線性回歸方法求解。第二十八頁，共三十七頁，2022年，8月28日2023/1/29291．

對回歸模型建立M文件model.m如下:functionyy=model(beta0,X)a=beta0(1);b=beta0(2);c=beta0(3);d=beta0(4);e=beta0(5);f=beta0(6);x1=X(:,1);x2=X(:,2);x3=X(:,3);x4=X(:,4);x5=X(:,5);x6=X(:,6);yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6;

第二十九頁，共三十七頁，2022年，8月28日2023/1/29302.

主程序liti6.m如下:X=[598.00349.00461.0057482.0020729.0044.00…………..2927.006862.001273.00100072.043280.00496.00];y=[184.00216.00248.00254.00268.00286.00357.00444.00506.00...271.00230.00266.00323.00393.00466.00352.00303.00447.00...564.00638.00658.00691.00655.00692.00657.00723.00922.00...890.00826.00810.0]';beta0=[0.50-0.03-0.600.01-0.020.35];betafit=nlinfit(X,y,'model',beta0)ToMATLAB(liti6）第三十頁，共三十七頁，2022年，8月28日2023/1/2931betafit=0.5243-0.0294-0.63040.0112-0.02300.3658即y=0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230x5+0.3658x6結(jié)果為:返回第三十一頁，共三十七頁，2022年，8月28日2023/1/2932逐步回歸逐步回歸的命令是：

stepwise（x，y，inmodel，alpha）

運行stepwise命令時產(chǎn)生三個圖形窗口：StepwisePlot，StepwiseTable，StepwiseHistory.

在StepwisePlot窗口，顯示出各項的回歸系數(shù)及其置信區(qū)間.StepwiseTable窗口中列出了一個統(tǒng)計表，包括回歸系數(shù)及其置信區(qū)間，以及模型的統(tǒng)計量剩余標準差（RMSE）、相關(guān)系數(shù)（R-square）、F值、與F對應(yīng)的概率P.矩陣的列數(shù)的指標，給出初始模型中包括的子集（缺省時設(shè)定為全部自變量）顯著性水平（缺省時為0.5）自變量數(shù)據(jù),

階矩陣因變量數(shù)據(jù)，階矩陣第三十二頁，共三十七頁，2022年，8月28日2023/1/2933例6

水泥凝固時放出的熱量y與水泥中4種化學成分x1、x2、x3、x4

有關(guān)，今測得一組數(shù)據(jù)如下，試用逐步回歸法確定一個線性模型.1、數(shù)據(jù)輸入：x1=[7111117113122111110]';x2=[26295631525571315447406668]';x3=[615886917221842398]';x4=[6052204733226442226341212]';