SPC統(tǒng)計相關與回歸分析(共47頁).ppt

1、 SPC統(tǒng)計相關與回歸分統(tǒng)計相關與回歸分析析課時安排 n本章的特點n描述統(tǒng)計與推斷統(tǒng)計中相關回歸分析的差別n第一節(jié) 相關與回歸分析的基本概念 (1學時)n第二節(jié) 一元線性回歸分析 (4學時)n第三節(jié) 多元線性回歸分析 (2學時)n第四節(jié) 非線性回歸分析 (1學時)n第五節(jié) 相關分析 (1學時)本章的特點n與以往的統(tǒng)計學原理教科書不同，本章從推斷統(tǒng)計的角度講解相關分析與回歸分析。這是因為在有關現(xiàn)實經(jīng)濟和管理問題的定量分析中，作為推斷統(tǒng)計的相關分析與回歸分析更加具有廣泛的應用價值。描述統(tǒng)計與推斷統(tǒng)計中相關回歸分析的差別n描述統(tǒng)計: 不需要對隨機誤差項作出各種假定,各種參數(shù)估計值是具體數(shù)值,是對總體

2、存在的相關關系的描述,不存在顯著性檢驗.n推斷統(tǒng)計: 需要對隨機誤差項作出各種假定,各種參數(shù)估計量是隨機變量,抽取的樣本不同時,得到的估計值也不同.可以用來推斷總體.需要進行各種檢驗.第一節(jié) 相關與回歸分析的基本概念n一、 函數(shù)關系與相關關系n二、相關關系的種類 n三、相關分析與回歸分析n四、相關表和相關圖 一、一、 函數(shù)關系與相關關系函數(shù)關系與相關關系n 當一個或幾個變量取一定的值時，另一個變量有確定值與之相對應，稱這種關系為確定性的函數(shù)關系。n 當一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。 變量間的這種相互關系，稱為具有不

3、確定性的相關關系。n 變量之間的函數(shù)關系和相關關系，在一定條件下是可以互相轉(zhuǎn)化的.二、相關關系的種類二、相關關系的種類n按相關的程度可分為完全相關、不完全相關和不相關。一般的相關現(xiàn)象是不完全相關。n按相關的方向可分為正相關和負相關。n按相關的形式可分為線性相關和非線性相關。n按變量多少可分為單相關、復相關和偏相關。一個變量對另一變量的相關關系，稱為單相關。一個變量對兩個以上變量的相關關系時，稱為復相關。在某一現(xiàn)象與多種現(xiàn)象相關的場合，當假定其他變量不變時，其中兩個變量的相關關系稱為偏相關。n按相關的性質(zhì)可分為“真實相關”和“虛假相關”。判斷什么是“真實相關”什么是虛假相關，必須依靠實質(zhì)性科學三

4、、相關分析與回歸分析三、相關分析與回歸分析n 相關分析是用一個指標來表明現(xiàn)象間依存關系的密切程度。n 回歸分析是用數(shù)學模型近似表達變量間的平均變化關系。n 相關分析可以不必確定變量中哪個是自變量，哪個是因變量，其所涉及的變量都是隨機變量。n 回歸分析必須事先確定具有相關關系的變量中哪個為自變量，哪個為因變量。一般地說，回歸分析中因變量是隨機的，而把自變量作為研究時給定的非隨機變量。n一定要始終注意把定性分析和定量分析結(jié)合起來，在定性分析的基礎上開展定量分析。四、相關表和相關圖四、相關表和相關圖n相關表是一種反映變量之間相關關系的統(tǒng)計表。將某一變量按其取值的大小排列，然后再將與其相關的另一變量的

5、對應值平行排列，便可得到簡單的相關表。n相關圖又稱散點圖。它是以直角坐標系的橫軸代表變量X，縱軸代表變量Y,將兩個變量間相對應的變量值用坐標點的形式描繪出來，用來反映兩變量之間相關關系的圖形。根據(jù)表8-2的資料繪制的相關圖如下：圖圖 9 9 - - 1 1 消消 費費 與與 收收 入入 的的 相相 關關 圖圖0102030405060708090020406080100120可 支 配 收 入消費支出第二節(jié) 一元線性回歸分析n一、標準的一元線性回歸模型n二、一元線性回歸模型的估計n三、一元線性回歸模型的檢驗 n四 、一元線性回歸模型預測 一、標準的一元線性回歸模型一、標準的一元線性回歸模型n

6、(一)總體回歸函數(shù) t12tut（8.1） u t是隨機誤差項，又稱隨機干擾項，它是一個特殊的隨機變量，反映未列入方程式的其他各種因素對的影響。n (二)樣本回歸函數(shù): ，. n t稱為殘差，在概念上，t與總體誤差項ut相互對應；是樣本的容量。tteXY21總體回歸線與隨機誤差項總體回歸線與隨機誤差項 （t）12tXYtY 。 。 。ut 樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別n總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線。n總體回歸函數(shù)中的1和2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的 是隨機變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動

7、。n總體回歸函數(shù)中的ut是t與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的t是t與樣本回歸線之間的縱向距離，當根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計算出t的具體數(shù)值。t21和誤差項的標準假定n假定： （ut）n假定： Var(ut)（ ）n假定： Cov(utus)（utus） n假定：自變量是給定變量，與誤差項線性無關。n假定：隨機誤差項服從正態(tài)分布。n滿足以上標準假定的一元線性回歸模型，稱為標準的一元線性回歸模型。2tu2二、一元線性回歸模型的估計二、一元線性回歸模型的估計n（一）回歸系數(shù)的估計 最小二乘法 設 將對求偏導數(shù)，并令其等于零，可得: 加以整理后有

8、：n 22)(tttYYeQ221)(ttXY0)(221ttXY0)(221tttXYX ttYXn21 ttttYXXX221回歸系數(shù)的最小二乘估計量n以上方程組稱為正規(guī)方程組或標準方程組，式中的是樣本容量。n求解這一方程組可得：222)(ttttttXXnYXYXnXYnXnYtt221（二）總體方差的估計n 上式中，分母是自由度，其中是樣本觀測值的個數(shù)，是一元線性回歸方程中回歸系數(shù)的個數(shù)。在一元線性回歸模型中，殘差t必須滿足因而失去了兩個自由度，所以其自由度為。 2的正平方根又叫做回歸估計的標準誤差。 S222net te ；ttXe )-(YY )-(t21tt21tt21t2XeX

9、-e-eYeXYetttttt證明: 殘差平方和計算ttttYXYY212n一般采用以下公式計算殘差平方和：tttttYXYYe2122（三）最小二乘估計量的性質(zhì)n最小二乘估計量是隨機變量。n在標準假定能夠得到滿足的條件下，回歸系數(shù)的最小二乘估計量的期望值等于其真值，即有： （ ）1 （ ）2 n其方差為： （ ） （ ） 2122)(XXt 22)(1XXXnt21估計量性質(zhì)的數(shù)學證明n (一)線性估計量 將12u代入估計量，得： = = = 最小二乘估計量可表現(xiàn)為所要估計的參數(shù)的真值與隨機誤差項的線性組合 22)()(XXYYXXttt2)()(XXYXXttt22)()(XXuXXttt

10、推導用的恒等式n n n n令)(XXt2)( XXt)(XXt)( )(YYXXttttYXX)(2)()(XXXXwttt 最小二乘估計量期望值和方差的推導n （ ）2（u） 2（u）（根據(jù)標準假定） 2（根據(jù)標準假定） 2 n （ ）（2u） （u）2 （根據(jù)標準假定、） （根據(jù)標準假定） 2)(22ttUEw22tw22)(XXt2有效性證明：有效性證明：n設 為任意無偏線性估計量，則有約束條件：n按照與上面同樣的方法，可推導出Var( )=n比較（ ）與Var( )的大小，有：2ttYk 1ttXk 0tk222kt22n Var( )Var（ ） ） 以上第二步到第三步之所以成立，

11、是因為： 而利用前面關于線性無偏估計量的約束條件，可有： 2222tw22tk-kt22(2tw0)-(2t2wkt)wk-w(k)-w(ktttttt222222221222-tttttttw-)X-(X-)X-(X)X-(Xk-wk三、一元線性回歸模型的檢驗三、一元線性回歸模型的檢驗 n（一） 回歸模型檢驗的種類 回歸模型的檢驗包括理論意義檢驗、一級檢驗和二級檢驗。n（二）擬合程度的評價n 總離差平方和的分解 （8.28） 是總離差平方和；是回歸平方和；是殘差平方和。n 可決系數(shù)：2 =1 （8.30）n 可決系數(shù)的特性 SSTSSRSSTSSE（三）顯著性檢驗 n1提出假設。n2.確定顯

12、著水平。n3.計算回歸系數(shù)的值。 = （8.36） n4.確定臨界值。n雙側(cè)檢驗查分布表所確定的臨界值是（-2）和（2）；單側(cè)檢驗所確定的臨界值是（）。n5.做出判斷。 2tiS*22四四 、一元線性回歸模型預測、一元線性回歸模型預測 n（一） 簡單回歸預測的基本公式： （8.38）n回歸預測是一種有條件的預測，在進行回歸預測時，必須先給出f的具體數(shù)值。內(nèi)插檢驗或事后預測。外推預測或事前預測。n（二）預測誤差n發(fā)生預測誤差的原因。n 預測誤差ar（f）2 （8.42）n（三）區(qū)間預測 f的（）的置信區(qū)間為：f2(n-2)f n回歸預測的置信區(qū)間的特點。 ffXY2122)()(11XXXXnt

13、f回歸預測的置信區(qū)間回歸預測的置信區(qū)間YYXffXY21第三節(jié)第三節(jié) 多元線性回歸分析多元線性回歸分析 n一、標準的多元線性回歸模型 n二、多元線性回歸模型的估計 n三、多元線性回歸模型的檢驗和預測 n 四、多元線性回歸預測 一、標準的多元線性回歸模型一、標準的多元線性回歸模型 n多元線性回歸模型總體回歸函數(shù)的一般形式 (8.48)n多元線性回歸模型的樣本回歸函數(shù) (8.49)n 多元線性回歸分析的標準假定除了包括上一節(jié)中已經(jīng)提出的的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強的線性關系。 tktkttuXXY221tktktteXXY221二、多元線性回歸模型的估計

14、二、多元線性回歸模型的估計 n（一）回歸系數(shù)的估計 n (X(XX)X)1 1X XY Y (8.55)n（二）總體方差的估計n2 (8.56) n（三）最小二乘估計量的性質(zhì)n 標準的多元線性回歸模型中，高斯.馬爾可夫定理同樣成立。 knet2三、多元線性回歸模型的檢驗和預測三、多元線性回歸模型的檢驗和預測 n（一）擬合程度的評價（一）擬合程度的評價n修正自由度的可決系數(shù)（理由）。 (8.61) （2） (8.62)式中，是樣本容量；是模型中回歸系數(shù)的個數(shù)。n修正自由度的可決系數(shù) 的特點。 2R)/()()/(122nYYknett)()(knn12R(二)顯著性檢驗n1回歸系數(shù)的顯著性檢驗

15、j=1,2,k (8.63) 式中， S 是的標準差的估計值。 按下式計算：n (8.64)n 式中， 是(X(XX)X)-1的第個對角線元素，2是隨機誤差項方差的估計值。(8.63)式的統(tǒng)計量的原假設是0：j，因此的絕對值越大表明j為的可能性越小，即表明相應的自變量對因變量的影響是顯著的。 jSjjjS2jjjjj2回歸方程的顯著性檢驗n具體的方法步驟 n回歸模型方差分析表n（3）統(tǒng)計量 離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE= n-kSSE/(n-k)總離差平方和SST=2)YYt（2)YYt（2tek)/(n-ESS 1)/(k-RSS 四、多

16、元線性回歸預測四、多元線性回歸預測 n基本公式：n (8.66) 式中，Xjf(j=2,3,k)是給定的Xj在預測期的具體數(shù)值； 是已估計出的樣本回歸系數(shù)； 是Xj給定時的預測值。 kfkffXXY221jfY第四節(jié)非線性回歸分析第四節(jié)非線性回歸分析 n一、非線性回歸分析的意義一、非線性回歸分析的意義n二、非線性函數(shù)形式的確定二、非線性函數(shù)形式的確定n確定函數(shù)形式的原則n實際分析中較常用的幾種非線性函數(shù)的特點 三、非線性回歸模型的估計三、非線性回歸模型的估計 n幾種線性變換方法n實際應用時要注意： 第一、比較復雜的非線性函數(shù)，需綜合利用上述的幾種方法。 第二、變換得到的方程式中的變量不允許包含

17、未知的參數(shù)。 第三、當變換后的新模型中包含的誤差項能夠滿足標準假定時，新模型中回歸系數(shù)最小二乘估計量的理想性質(zhì)才能成立。第四、嚴格地說，線性變換方法只是適用于變量為非線性的函數(shù)。 第五、 并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價的線性方程。第五節(jié)第五節(jié) 相關分析相關分析 n一、單相關系數(shù)及其檢驗 n 二、等級相關系數(shù)及其檢驗 n四、復相關系數(shù)和偏相關系數(shù) n 六、相關指數(shù)一、單相關系數(shù)及其檢驗一、單相關系數(shù)及其檢驗 n（一）相關系數(shù)的定義 （8.86）n樣本相關系數(shù)的定義還可從另一個角度給出。設倚和倚的樣本回歸方程為： （8.87） （8.88）22)()()(YYXXYYXX

18、ttttttXY21ttYX21樣本相關系數(shù)可定義為樣本回歸系數(shù)的乘積的開方，即: （8.89） 上式中的符號應與回歸系數(shù)的符號一致。n（二）相關系數(shù)與可決系數(shù)n 簡單線性回歸模型中相關系數(shù)的平方等于可決系數(shù)2。n 樣本相關系數(shù)的特點：n（三）單相關系數(shù)的檢驗 22 二、等級相關系數(shù)及其檢驗二、等級相關系數(shù)及其檢驗 n（一）等級相關系數(shù)的定義和計算 s = (8.92)n式中， ， 和 分別是兩個變量按大?。ɑ騼?yōu)劣）排位的等級，n是樣本的容量。n推導推導n通常的單相關系數(shù)為： s i=1,2,n (9.121) ) 1(6122nndi)(iiiyxdixiy22)()()(yyxxyyxxiiii注意到 和 是等級變量，其可能的取值范圍均為：1，2，3，n。利用有關數(shù)列求和的公式可得：n (9.122)n (9.123) (9.124) (9.125) ixiy2/ ) 1(/ )2/ ) 1(/nnnnnxxi2/ ) 1(/ )2/ ) 1(/nnnnnyyiyx 222)(xnxxxii22) 1(6) 12)(1(nnnnn12) 1(2nn12) 1()(22nnyyi = n = n整理后，可得:n (9.126) 將(9.124)、（9.125）和(9.126)式代入（9.121）式，便可導出等級相關系數(shù)的計算公式(9.12