簡(jiǎn)單回歸分析

簡(jiǎn)單回歸分析1第1頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月Regression釋意

F.Galton第2頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月outline簡(jiǎn)單線性回歸回歸模型的建立回歸系數(shù)的假設(shè)檢驗(yàn)和區(qū)間估計(jì)線性回歸的應(yīng)用

估計(jì)置信區(qū)間估計(jì)預(yù)測(cè)區(qū)間殘差分析第3頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月4第4頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月

5第5頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月

6第6頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月1概述Y因變量

(dependentvariable,responsevariable)X自變量

(independentvariable)

簡(jiǎn)單回歸的形式：簡(jiǎn)單回歸是回歸分析中最基本、最簡(jiǎn)單的一種，又稱直線回歸。第7頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月(1)a為回歸直線在Y

軸上的截距。a>0，表示直線與縱軸的交點(diǎn)在原點(diǎn)的上方；a<0，則交點(diǎn)在原點(diǎn)的下方；a=0，則回歸直線通過(guò)原點(diǎn)。8第8頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月(2）b為回歸系數(shù)，即直線的斜率。

b>0，直線從左下方走向右上方，Y隨X增大而增大；

b<0，直線從左上方走向右下方，Y隨X增大而減小；

b=0，表示直線與X軸平行，X與Y無(wú)直線關(guān)系。

b的統(tǒng)計(jì)學(xué)意義是：X

每增加(減)一個(gè)單位，Y

平均改變b個(gè)單位。

9第9頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月2回歸模型的前提假設(shè)線性(linear)獨(dú)立(independent)正態(tài)(normal)等方差(equalvariance)

恰好為“LINE”。第10頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月給定X時(shí)，Y是正態(tài)分布、等方差示意圖xy第11頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月給定X時(shí)，Y是正態(tài)分布、不等方差示意圖xy第12頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月最小二乘法(leastsquareestimation，LSE)基本思想：使各實(shí)測(cè)值Y與回歸直線上對(duì)應(yīng)的估計(jì)值之差的平方和為最小，在這個(gè)準(zhǔn)則下，可導(dǎo)出a、b的最小二乘估計(jì)如下：

3估計(jì)回歸參數(shù)，建立回歸模型第13頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月自變量反應(yīng)變量第14頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月

①先作散點(diǎn)圖，以判斷兩變量間是否呈線性趨勢(shì)第15頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月凝血酶濃度（X）與凝血時(shí)間(Y)數(shù)據(jù)第16頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月回歸系數(shù)b：②求直線回歸方程截距a：第17頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月由凝血酶濃度x估計(jì)凝血時(shí)間y18第18頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月③繪制回歸直線計(jì)算不太接近的兩點(diǎn)的Y值：X=1.1單位/毫升時(shí)

Y=21.77393-6.9802×1.1=14.0957（s）X=0.6單位/毫升時(shí)

Y=21.77393-6.9802×0.6=17.5858（s）第19頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月③繪制回歸直線圖12-3凝血酶濃度（X）與凝血時(shí)間（Y）的散點(diǎn)分布及擬合直線

第20頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月4回歸方程的意義及性質(zhì)1)b的意義：2)a的意義：第21頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月b

的意義回歸系數(shù)b稱為斜率(slope)，表示自變量增加一個(gè)單位時(shí)，應(yīng)變量平均改變的量。

凝血酶濃度每增加1單位/ml,則凝血時(shí)間平均減少6.9802秒b

的單位為(Y的單位/X的單位)回歸與相關(guān)均表示兩變量間的線性關(guān)系，故回歸系數(shù)b與相關(guān)系數(shù)r的正負(fù)號(hào)是相同的。第22頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月a的意義a截距或常數(shù)項(xiàng)(intercept,constant)X=0時(shí)，Y的估計(jì)值a的單位與Y值相同第23頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月估計(jì)值的意義給定X時(shí)，Y的平均值。X=1.1時(shí),=14.0957,即凝血酶濃度為1.1單位/ml的健康成人中，估計(jì)其平均凝血時(shí)間為14.0957秒。X=0.6時(shí)，=17.5858,

即凝血酶濃度為0.6單位/ml的健康成人中，估計(jì)其平均凝血時(shí)間為17.5858秒第24頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月的意義

為殘差：點(diǎn)到直線的縱向距離。各點(diǎn)殘差要求盡可能?。?5頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月回歸直線的有關(guān)性質(zhì)直線通過(guò)均點(diǎn)直線上方各點(diǎn)到直線的縱向距離之和

=直線下方各點(diǎn)到直線的縱向距離之和即:各點(diǎn)到該回歸線縱向距離平方和較到其它任何直線者為小。即最小

26第26頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月殘差平方和或剩余平方和(residualsumofsquares)。綜合表示點(diǎn)距直線的距離。在所有的直線中，回歸直線的殘差平方和是最小的。(最小二乘)

的意義第27頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月

5總體回歸系數(shù)β的統(tǒng)計(jì)推斷

區(qū)間估計(jì)假設(shè)檢驗(yàn)第28頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月總體回歸系數(shù)β的置信區(qū)間

29第29頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月30第30頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月①樣本回歸系數(shù)b的標(biāo)準(zhǔn)誤：

sy,x為的剩余標(biāo)準(zhǔn)差(或回歸的剩余標(biāo)準(zhǔn)差)：X的離均差平方和為：第31頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月總體回歸系數(shù)β的置信區(qū)間

32第32頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月②總體回歸系數(shù)β的假設(shè)檢驗(yàn)建立樣本直線回歸方程，只是完成了統(tǒng)計(jì)分析中兩變量關(guān)系的統(tǒng)計(jì)描述，研究者還須回答它所來(lái)自的總體的直線回歸關(guān)系是否確實(shí)存在，即是否對(duì)總體有？第33頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月34第34頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月如圖，無(wú)論X如何取值，總在一條水平線上，即0b=，總體直線回歸方程并不成立，意即Y與X無(wú)直線關(guān)系。然而在一次隨機(jī)抽樣中，如果所得樣本為實(shí)心園點(diǎn)所示，則會(huì)得到一個(gè)并不等于0的樣本回歸系數(shù)b。b與0相差到多大可以認(rèn)為具有統(tǒng)計(jì)學(xué)意義？可用方差分析或與其等價(jià)的t檢驗(yàn)來(lái)回答這一問(wèn)題。

Y35第35頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月樣本回歸系數(shù)b

總體回歸系數(shù)

H0：總體回歸系數(shù)為0，=0，即兩指標(biāo)間無(wú)直線回歸關(guān)系；

H1：總體回歸系數(shù)不為0，0；即兩指標(biāo)間有直線回歸關(guān)系；=0.05。36第36頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月回歸系數(shù)的方差分析37第37頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月6因變量總變異的分解X

P

(X,Y)Y38第38頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月Y的總變異分解總變異SS總回歸平方和SS回剩余平方和SS剩39第39頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月6因變量總變異的分解X

P

(X,Y)Y40第40頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月Y的總變異分解

41第41頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月方差分析表變異來(lái)源SS

v

MS

F

回歸

SS回

1

SS回/1

MS回/MS剩剩余

SS剩

n-2

SS剩/n-2

總變異 SS總

n-142第42頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月回歸方程的假設(shè)檢驗(yàn)---方差分析

H0：兩指標(biāo)間無(wú)直線回歸關(guān)系；

H1：兩指標(biāo)間有直線回歸關(guān)系。

=0.05。

lXX，lYY，lXY

SS總=lYY=22.93333 SS回

=lXY2/lXX

==19.68416

SS剩

=lYY–lXY2/lXX=3.24917

43第43頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月方差分析表變異來(lái)源SS

vMSFP

回歸

19.68416119.684178.76<.01

剩余

3.24917130.24994

總變異

22.933331444第44頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月決定系數(shù)對(duì)于兩變量，R2=r2決定系數(shù)反映了回歸貢獻(xiàn)的相對(duì)程度,也就是在Y的總變異中回歸能解釋的百分比。因此，R2越接近1，說(shuō)明應(yīng)用相關(guān)分析的意義越大，即貢獻(xiàn)越大；相反的意義亦成立。45第45頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月回歸系數(shù)的t

檢驗(yàn)46第46頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月建立假設(shè)，確定檢驗(yàn)水準(zhǔn)

H0:β=0，即兩指標(biāo)間無(wú)直線回歸關(guān)系；

H1:β≠0，即兩指標(biāo)間有直線回歸關(guān)系；

=0.05計(jì)算檢驗(yàn)統(tǒng)計(jì)量：

,v=n-2=13總體回歸系數(shù)的假設(shè)檢驗(yàn)47第47頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月確定p值

t0.05/2,13=2.16，p<0.05下結(jié)論：拒絕H0，可認(rèn)為兩變量間存在直線回歸關(guān)系。48第48頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月回歸系數(shù)與相關(guān)系數(shù)的假設(shè)檢驗(yàn)結(jié)果等價(jià):49第49頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月直線回歸中三種假設(shè)檢驗(yàn)間的關(guān)系在直線回歸中，相關(guān)系數(shù)的假設(shè)檢驗(yàn)，回歸系數(shù)的假設(shè)檢驗(yàn)，以及回歸方程的方差分析結(jié)果等價(jià)。50第50頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月③總體回歸系數(shù)β的置信區(qū)間

不包含H0第51頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月7線性回歸的應(yīng)用估計(jì)置信區(qū)間（可信區(qū)間）

總體回歸線的95%置信帶估計(jì)參考值范圍（預(yù)測(cè)區(qū)間）個(gè)體Y95%的預(yù)測(cè)區(qū)間統(tǒng)計(jì)控制

第52頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月(1)的置信區(qū)間估計(jì)

樣本統(tǒng)計(jì)量總體參數(shù)Y的均數(shù)給定Xp時(shí)Y的均數(shù)點(diǎn)估計(jì)：根據(jù)

t分布原理對(duì)進(jìn)行區(qū)間估計(jì)：(Y的條件均數(shù))53第53頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月Xp=1.1時(shí)，求的95%可信區(qū)間

結(jié)果解釋？第54頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月第55頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月第56頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月(2)個(gè)體Y的預(yù)測(cè)區(qū)間當(dāng)x=xp時(shí)，個(gè)體Y值波動(dòng)范圍的標(biāo)準(zhǔn)差：其波動(dòng)范圍是第57頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月以第一觀測(cè)點(diǎn)數(shù)據(jù)（X1=1.1）點(diǎn)為例，該點(diǎn)預(yù)測(cè)值的標(biāo)準(zhǔn)差為：結(jié)果解釋？第58頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月第59頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月第60頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月第61頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月

的可信區(qū)間與Y的預(yù)測(cè)區(qū)間可信區(qū)間是針對(duì)條件均數(shù)的，而預(yù)測(cè)區(qū)間是針對(duì)個(gè)體Y的取值范圍的。前者表示在固定的Xp處（X=Xp），按照（1-α）的置信度估計(jì)的Y的總體均數(shù)可信區(qū)間。后者表示在固定的Xp處（X=Xp），（1-α）的個(gè)體Y值在預(yù)測(cè)范圍內(nèi)。第62頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月

的可信區(qū)間與Y的預(yù)測(cè)區(qū)間可信區(qū)間是針對(duì)條件均數(shù)的，而預(yù)測(cè)區(qū)間是針對(duì)個(gè)體Y的取值范圍的。X=1.1時(shí)，的95%可信區(qū)間為：13.75~14.44秒,

表示：凝血酶濃度為1.1單位/ml的健康成人中，估計(jì)其平均凝血時(shí)間為14.09秒，95%可信區(qū)間為13.75~14.44秒。

X=1.1時(shí)，Y的95%預(yù)測(cè)區(qū)間為：12.96~15.23秒,

表示：凝血酶濃度為1.1單位/ml的健康成人中，估計(jì)有95％的人其凝血時(shí)間在12.96~15.23秒之間。63第63頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月

即利用個(gè)體Y值95%的預(yù)測(cè)區(qū)間，由Y反推X(3)統(tǒng)計(jì)控制64第64頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月8直線回歸與直線相關(guān)的區(qū)別與聯(lián)系聯(lián)系正負(fù)符號(hào)相同：在同一資料，r與b的正負(fù)符號(hào)相同。假設(shè)檢驗(yàn)等價(jià)：在同一資料，r與b的假設(shè)檢驗(yàn)統(tǒng)計(jì)量t值相等：tr=tb，自由度亦相等，故r與b

的假設(shè)檢驗(yàn)等價(jià)。用回歸解釋相關(guān)。相關(guān)系數(shù)的平方稱為決定系數(shù)，其公式為：

其值在０~１之間。決定系數(shù)反映了回歸貢獻(xiàn)的相對(duì)程度,也就是在Y的重變異中回歸能解釋的百分比。因此，R2越接近1，說(shuō)明應(yīng)用相關(guān)分析的意義越大，即貢獻(xiàn)越大；相反的意義亦成立。對(duì)于兩變量，R2=r2。第65頁(yè)，課件共74頁(yè)，創(chuàng)作于2023年2月8直線回歸與直線相關(guān)的區(qū)別與聯(lián)系區(qū)別計(jì)量單位：r

沒(méi)有單位，b有單位(Y單位/X單位)應(yīng)用：相關(guān)表示相互關(guān)系，回歸表示依存關(guān)系。若目的是描述兩變量間呈直線關(guān)系的密切程度和方向，則應(yīng)作相關(guān)分析；若目的是描述