統(tǒng)計(jì)分析方法中的回歸分析

1統(tǒng)計(jì)分析方法中的回歸分析2回歸分析找出預(yù)測(cè)模式：簡(jiǎn)單回歸(Simpleregression)以一個(gè)變項(xiàng)預(yù)測(cè)另一個(gè)有興趣的數(shù)量變量。復(fù)回歸(Multipleregression)以多個(gè)變項(xiàng)預(yù)測(cè)某一個(gè)有興趣的數(shù)量變量。羅吉斯回歸(Logisticregression)以多個(gè)變項(xiàng)預(yù)測(cè)某一個(gè)有興趣的0-1變量。3最小平方回歸4回歸直線(regressionline)回歸直線是用來(lái)描述反應(yīng)變量y

與解釋變量x

線性關(guān)系的直線，在給定x之下通常使用回歸直線的公式來(lái)預(yù)測(cè)y。平均日加溫度數(shù)為20度時(shí)，根據(jù)下圖的回歸直線可算出月平均瓦斯消耗量約為490cu.ft。5回歸直線實(shí)例(20,5)6預(yù)測(cè)誤差回歸直線的選擇直接影響預(yù)測(cè)值y的準(zhǔn)確性。我們以y觀察值-

預(yù)測(cè)值y稱為誤差，或稱為垂直距離。平均日加溫度數(shù)為20度時(shí)，若實(shí)際月平均瓦斯消耗量為510cu.ft，則 誤差=510-490=20。 7預(yù)測(cè)誤差圖示預(yù)測(cè)值觀察值y誤差8最小平方回歸直線依據(jù)誤差平方和最小的原則求得的回歸直線，稱為最小平方回歸直線(Leastsquareregressionline)。改變回歸直線的截距與斜率，選擇使誤差平方和最小的直線。9最小平方回歸直線方程式若直線方程式為y=a+bx，則在xi

之下yi

的預(yù)測(cè)值為 ，則誤差平方和即為 。依據(jù)微積分的方法可求得使誤差平方和最小的a,b

值分別為 最小平方回歸直線即為 。10最小平方回歸直線實(shí)例統(tǒng)計(jì)資料 則 最小平方回歸直線即為 。11最小平方回歸直線-minitab12最小平方回歸直線-minitab圖13最小平方回歸的性質(zhì)最小平方回歸直線中反應(yīng)變量y

與解釋變量x的角色無(wú)可取代。反應(yīng)變量y

與解釋變量x互換會(huì)得到不同的回歸直線。回歸直線的斜率與相關(guān)系數(shù)關(guān)系密切。 b=r(sy/sx)14兩回歸直線15最小平方回歸的性質(zhì)(續(xù))回歸直線一定通過(guò)點(diǎn)?；貧w直線方程式 中， 以 代入可得 即表示點(diǎn) 在回歸直線上。16最小平方回歸的性質(zhì)(再續(xù))相關(guān)系數(shù)描述了回歸直線的強(qiáng)度。相關(guān)系數(shù)平方即為反應(yīng)變量y的變異中，在變量x回歸后解釋的部分(比例)。17余差(Residuals)觀察值y

與預(yù)測(cè)值的差稱為余差。 余差總和必為零 18余差圖(ResidualsPlot)余差與對(duì)應(yīng)的解釋變量的散布圖，稱為余差圖。余差圖有助于了解回歸直線的適合性。余差圖為非線性。余差的散布隨著x

值的增加而散開(kāi)或縮減。19標(biāo)準(zhǔn)余差圖-4-2024x20曲線型余差圖-4-2024x21散發(fā)型余差圖-4-2024x22余差圖中的特殊點(diǎn)離群點(diǎn)：余差特出的點(diǎn)，偏離整體余差的分布。Child19干擾點(diǎn)：該點(diǎn)的移除對(duì)于回歸直線的計(jì)算結(jié)果有重大的影響，稱為干擾點(diǎn)。x

值特出(大或小)的點(diǎn)，多為干擾點(diǎn)。Child18

23余差圖實(shí)例小孩說(shuō)第一句話的時(shí)間與日后Gesell能力測(cè)驗(yàn)成績(jī)的回歸關(guān)系。回歸直線如后余差如下，余差圖如后24回歸直線圖Child19Child1825回歸余差圖Child18Child1926特殊點(diǎn)對(duì)回歸直線的影響Child18Child1927相關(guān)與回歸的迷思28相關(guān)性與回歸直線的侷限相關(guān)性與回歸直線僅用來(lái)描述兩變量之間的線性關(guān)系，且其數(shù)值受特殊點(diǎn)的影響極大。平均日加溫度數(shù)為20度時(shí)，根據(jù)下圖的回歸直線可算出月平均瓦斯消耗量約為490cu.ft。29外插(Extrapolation)預(yù)測(cè)以回歸直線預(yù)測(cè)原解釋變量概括的范圍外資料之對(duì)應(yīng)y值，其準(zhǔn)確性的多半不高。以3~8歲孩童身高資料得到的回歸直線，預(yù)測(cè)25歲成人身高(預(yù)測(cè)值約為8呎長(zhǎng)人)必然不準(zhǔn)確。30使用平均數(shù)使用平均數(shù)資料(月平均瓦斯消耗量)評(píng)估相關(guān)性，往往高于未平均前資料(每日瓦斯消耗量)的相關(guān)性。平均數(shù)資料已整合了未平均前資料的離散情況。31復(fù)回歸分析32復(fù)相關(guān)系數(shù)變量y與預(yù)測(cè)變量x1,x2,…,xp之間的相關(guān)系數(shù)稱為復(fù)相關(guān)系數(shù)。預(yù)測(cè)變量之線性組合a1x1+a2x2+…+apxp與變量y之相關(guān)系數(shù)。33復(fù)相關(guān)系數(shù)實(shí)例大一微積分成績(jī)?yōu)閥，預(yù)測(cè)變量為聯(lián)考數(shù)學(xué)成績(jī)x1與英文成績(jī)x2。大一微積分y，與聯(lián)考英數(shù)平均成績(jī) x=(x1+x2)/2的相關(guān)系數(shù)。大一微積分y，與聯(lián)考英數(shù)加權(quán)平均成績(jī) x*=ax1+bx2的相關(guān)系數(shù)。求a,b

使得corr(y,ax1+bx2)為最大。34復(fù)回歸模式變量y與預(yù)測(cè)變量x1,x2之n組隨機(jī)資料為yi,x1i,x2i,i=1,…,n則復(fù)回歸模式為 為隨機(jī)誤差服從常態(tài) 。 為三未知常數(shù)，可由隨機(jī)資料 yi,x1i,x2i,i=1,…,n估計(jì)之。 35回歸方程式之估計(jì)最小平方法即為NormalEquations

之解: 令 分別為上列聯(lián)立方程組之解，則回歸方程式為36復(fù)回歸分析變異數(shù)分析表 則拒絕37復(fù)回歸實(shí)例會(huì)計(jì)事務(wù)所以十位會(huì)計(jì)師過(guò)去資料，利用回歸直線預(yù)測(cè)

CPA考試分?jǐn)?shù)。資料如下:38相關(guān)分析相關(guān)分析得

39資料散布圖(Scorevs.GPA.)40GPA對(duì)Score之簡(jiǎn)單回歸41資料散布圖(Scorevs.Exp.)42Experience對(duì)Score之簡(jiǎn)單回歸43GPA及Exp對(duì)Score之復(fù)回歸44復(fù)回歸之殘差分析45回歸系數(shù)檢定給定i，檢定 已在模式內(nèi)時(shí)是否還需要加入即檢定 檢定統(tǒng)計(jì)量為 ，其中 則拒絕

H0。檢定 ，則檢定統(tǒng)計(jì)量為46回歸信賴區(qū)間

bj

的

100(1-a)%信賴區(qū)間為在

x10,x20

情形下，

的

100(1-a)%信賴區(qū)間為 其中47復(fù)判別系數(shù)判別系數(shù)k增加則

SSE減少，則

R2

增加修正判別系數(shù) k增加則

SSE減少，但 增加， 則

AdjR2

不一定增加48復(fù)判別系數(shù)與變量項(xiàng)目數(shù)k49指標(biāo)變量若考慮性別因素，令

x3為指標(biāo)變量

x3=1為男，x3=0為女，則模式為 一般分類型資料若有2k

類則以

k個(gè)指標(biāo)變量分析。例：以

(x3,x4)=(0,0)為第一季，(0,1)為第二季，(1,0)為第三季，(1,1)為第四季，即以2個(gè)指標(biāo)變量代表四季。50Scorevs.GPA散布圖(bySex)51含指標(biāo)變量之回歸分析52含指標(biāo)變量之回歸方程式男,sex=1,Score=7.7+23.1GPA女,sex=0,Score=-9.7+23.1GPA回歸方程式

Score=-9.7+23.1GPA+17.4Sex53含指標(biāo)變量之回歸殘差圖54含指標(biāo)變量之復(fù)回歸分析55含指標(biāo)變量之復(fù)回歸殘差圖56多項(xiàng)式回歸模式

回歸殘差圖顯示，殘差項(xiàng)仍為

x2的(二次)函數(shù)，故宜在模式上加入 項(xiàng)，即 一般多項(xiàng)式回歸，則視需要加入

p次項(xiàng)，模式為57多項(xiàng)式回歸分析58多項(xiàng)式回歸殘差圖59含指標(biāo)變量之多項(xiàng)式回歸分析60含指標(biāo)變量多項(xiàng)式回歸殘差圖61回歸模式的選擇模式一：復(fù)回歸模式二：含指標(biāo)變量復(fù)回歸模式三：多項(xiàng)式回歸模式四：含指標(biāo)變量多項(xiàng)式回歸62回歸模式的比較63回歸理論的應(yīng)用案例兩回歸線是否相等64共線性診斷兩回歸預(yù)測(cè)因子具高度相關(guān)時(shí)，可能會(huì)對(duì)回歸模式有重大的影響。一般稱為共線性(multi-collinearity)問(wèn)題。共線性問(wèn)題常用變異膨脹因子(varianceinflationfactor,簡(jiǎn)記為VIF)的方法來(lái)偵測(cè)。65變異膨脹因子(VIF)回歸模式各變量標(biāo)準(zhǔn)化后的新未知參數(shù)為b*k及s*2。定義新回歸系數(shù)b*k的最小平方估計(jì)b