方差分析與回歸分析理.ppt

方差分析與回歸分析,西北農(nóng)林科技大學(xué)理學(xué)院,徐 釗編制,方差分析 Analysis Of Variance,一、方差分析的概念與基本思想 1.問(wèn)題的提出 例題8.1 在飼料養(yǎng)雞增肥研究中，某飼料研究所提出三 種配方： A1以魚(yú)粉為添加料， A2以槐樹(shù)粉為添加料， A3 以苜蓿粉添加料。為比較三種飼料的效果，特選24只相似 的雛雞隨機(jī)分為三組，每組用一種飼料喂養(yǎng)，60天后測(cè)其 體重，獲得數(shù)據(jù)如下表,比較三種飼料的增重效果是否一致，可以轉(zhuǎn)化為利用樣本 比較三個(gè)總體均值是否相等。直觀上看該問(wèn)題可以用兩個(gè) 總體均值差異顯著性檢驗(yàn)解決，但細(xì)想想還是存在一定問(wèn) 題，因?yàn)檫@樣的比較能增大犯錯(cuò)誤的概率。為解決這類(lèi)問(wèn) 題，英國(guó)統(tǒng)計(jì)學(xué)家R.A.Fisher于1924年提出了解距此類(lèi)問(wèn)題 的通用方法-方差分析法。,2.方差分析的概念 因素：影響試驗(yàn)指標(biāo)變化的原因。 水平：因素所劃分成不同等級(jí)，每個(gè)等級(jí)稱(chēng)為該因素的一 個(gè)水平。 條件變差：能反映控制因素不同水平對(duì)試驗(yàn)指標(biāo)的作用的 量，又稱(chēng)為處理效應(yīng)或組間效應(yīng)。 隨機(jī)誤差：能反映控制因素以外因素對(duì)試驗(yàn)指標(biāo)作用的量。,3.方差分析的基本思想 試驗(yàn)指標(biāo)的變化可以用指標(biāo)值的方差反映，導(dǎo)致指標(biāo)值 發(fā)生變化的原因有兩方面：一是可控因素，二是不可控因 素。方差分析就是將指標(biāo)值的方差分解成條件變差與隨機(jī) 誤差，然后依據(jù)概率遠(yuǎn)離比較條件變差與隨機(jī)誤差大小關(guān) 系，從而決定引起指標(biāo)值的變化的主要原因。 4.方差分析的基本假定 不同因素對(duì)試驗(yàn)指標(biāo)值的影響作用是加性效應(yīng)，即試驗(yàn) 指標(biāo)值的變化是各種因素所起作用的累加； 試驗(yàn)指標(biāo)服從正態(tài)分布； 試驗(yàn)數(shù)據(jù)是隨機(jī)的，并且可控因素不同水平的試驗(yàn)數(shù)據(jù) 方差齊性。,二、單因素方差分析的統(tǒng)計(jì)模型,1.單因素方差分析的數(shù)據(jù)結(jié)構(gòu) 單因素方差分析的試驗(yàn)數(shù)據(jù)應(yīng)具有下列結(jié)構(gòu)形式。,2.單因素方差分析的統(tǒng)計(jì)模型,該形式稱(chēng)為單因素方差分析的統(tǒng)計(jì)模型。 在方差分析統(tǒng)計(jì)模型下，方差分析要解決的問(wèn)題轉(zhuǎn)化為 下列假設(shè)檢驗(yàn)問(wèn)題：,為了分析方便，我們往往對(duì)單因素方差分析的統(tǒng)計(jì)模型進(jìn) 行如下轉(zhuǎn)化。令,稱(chēng)其為總均值，而稱(chēng),因素A第i格水平下的主效應(yīng)。,三、單因素方差分析的原理,1. 試驗(yàn)數(shù)據(jù)離差平方和分解,離差平方和分解式,例題8.2 對(duì)例題8.1的試驗(yàn)數(shù)據(jù)進(jìn)行方差分析。 解：H0：飼料種類(lèi)對(duì)雞的增肥沒(méi)有影響； H1：有影響。,三、單因素方差分析模型的參數(shù)估計(jì),一、相關(guān)關(guān)系的概念 在現(xiàn)實(shí)問(wèn)題中，處于同一個(gè)過(guò)程中的一些變量，往往是相互依賴(lài)和相互制約的，形成一定的相互關(guān)系，這種相互關(guān)系大致可分為兩種：,相關(guān)關(guān)系與回歸關(guān)系 Correlation and Regression,（1）確定性關(guān)系函數(shù)關(guān)系； （2）非確定性關(guān)系相關(guān)關(guān)系；,1.相關(guān)關(guān)系 相關(guān)關(guān)系表現(xiàn)為這些變量之間有一定的依賴(lài)關(guān)，但這種關(guān)系并不完全確定，它們之間的關(guān)系不能精確地用函數(shù)表示出來(lái)，這些變量其實(shí)是隨機(jī)變量，或至少有一個(gè)是隨機(jī)變量。,2.相關(guān)關(guān)系舉例,例如：在氣候、土壤、水利、種子和耕作技術(shù)等條件基本相同時(shí)，某農(nóng)作物的畝產(chǎn)量 Y 與施肥量 X 之間有一定的關(guān)系，但施肥量相同，畝產(chǎn)量卻不一定相同。畝產(chǎn)量是一個(gè)隨機(jī)變量。,又如：人的血壓Y與年齡X之間有一定的依賴(lài)關(guān)系，一般來(lái)說(shuō)，年齡越大，血壓越高，但年齡相同的兩個(gè)人的血壓不一定相等。血壓是一個(gè)隨機(jī)變量。,農(nóng)作物的畝產(chǎn)量與施肥量、血壓與年齡之間的這種關(guān)系稱(chēng)為相關(guān)關(guān)系，在這些變量中，施肥量、年齡是可控變量，畝產(chǎn)量、血壓是不可控變量。一般在討論相關(guān)關(guān)系問(wèn)題中，可控變量稱(chēng)為自變量，不可控變量稱(chēng)為因變量。,因此，統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí)，是設(shè)法 確定：在給定自變量 的條件下，因變量 的條 件數(shù)學(xué)期望,這種關(guān)系直觀表達(dá)出來(lái)，一下圖所示,二、回歸關(guān)系的概念 1.回歸關(guān)系,回歸分析主要包括三方面的內(nèi)容： 1）確定變量間的回歸函數(shù)形式提供建立有相關(guān)關(guān)系的變 量之間的數(shù)學(xué)關(guān)系式（稱(chēng)為經(jīng)驗(yàn)公式）的一般方法； 2）判別所建立的經(jīng)驗(yàn)公式是否有效，并從影響隨機(jī)變量 的諸變量中判別哪些變量的影響是顯著的，哪些是不顯著 的； 3）利用所得到的經(jīng)驗(yàn)公式進(jìn)行預(yù)測(cè)和控制。,3.回歸分析與回歸分析的內(nèi)容 回歸分析就是研究變量間的相關(guān)關(guān)系，通過(guò)對(duì)客觀事物中變量的大量觀測(cè)獲得數(shù)據(jù)，去尋找隱藏在數(shù)據(jù)后面的相關(guān)關(guān)系，給出他們的表達(dá)式回歸函數(shù)的估計(jì)式。,一元線性回歸模型,如果試驗(yàn)的散點(diǎn)圖中各點(diǎn)呈直線狀，則假設(shè)這批數(shù)據(jù)的數(shù)學(xué)模型為,設(shè)隨機(jī)變量Y依賴(lài)于自變量x，作n次獨(dú)立試驗(yàn)，得n對(duì)觀測(cè)值： ，稱(chēng)這n對(duì)觀測(cè)值為容量為n的一個(gè)子樣，若把這n對(duì)觀測(cè)值在平面直角坐標(biāo)系中描點(diǎn)，得到試驗(yàn)的散點(diǎn)圖.,因此,其中 是與 無(wú)關(guān)的未知常數(shù)。,一、一元線性回歸模型,1.一元回歸模型 一般地，稱(chēng)如下數(shù)學(xué)模型為一元線性模型,2.回歸函數(shù)（方程）的建立,由觀測(cè)值 確定的回歸函數(shù) ， 應(yīng)使得 較小?？紤]函數(shù),問(wèn)題：確定 ，使得 取得極小值。,記,表示對(duì) 的估計(jì)值,則變量 對(duì) 的經(jīng)驗(yàn)回歸方程為,最小二乘法,3.回歸方程有效性的檢驗(yàn),對(duì)于任何一組數(shù)據(jù) ，都可按最 小二乘法確定一個(gè)線性函數(shù)，但變量 與 之間是否真 有近似于線性函數(shù)的相關(guān)關(guān)系呢？尚需進(jìn)行假設(shè)檢驗(yàn)。,假設(shè),如果 成立，則不能認(rèn)為 與 有線性相關(guān)關(guān)系。,三種檢驗(yàn)方法：F檢驗(yàn)法、t-檢驗(yàn)法、r檢驗(yàn)法。,(一)回歸方程有效性的F檢驗(yàn)法,記,總離差平方和，反映觀測(cè)值與平均值的偏差程度。,經(jīng)恒等變形，將 分解,回歸平方和，反映回歸值與平均值的偏差，揭示 變量 與 的線性關(guān)系所引起的數(shù)據(jù)波動(dòng)。,剩余平方和，反映觀測(cè)值與回歸值的偏差，揭示 試驗(yàn)誤差和非線性關(guān)系對(duì)試驗(yàn)結(jié)果所引起的數(shù)據(jù)波動(dòng)。,如果 為真，則,于是，統(tǒng)計(jì)量,對(duì)給定的檢驗(yàn)水平 ，,（1）當(dāng) 時(shí)，拒絕 ，即可認(rèn)為變量 與 有線性相關(guān)關(guān)系；,（2）當(dāng) 時(shí)，接受 ，即可認(rèn)為變量 與 沒(méi)有線性相關(guān)關(guān)系；,記,樣本的相關(guān)系數(shù),可反映變量 與 之間的線性相關(guān)程度。,因?yàn)?(二)回歸方程有效性的r檢驗(yàn)法,越大，變量 與 之間的線性相關(guān)程度越強(qiáng)。,因?yàn)?（1）,（2） 時(shí)，,（3） 時(shí)，,與 有線性相關(guān)關(guān)系；,與 無(wú)線性相關(guān)關(guān)系；,計(jì)算,對(duì)給定的檢驗(yàn)水平 ，查相關(guān)系數(shù)的臨界值表,如果 ，則拒絕 ，即線性回歸方程 有效；否則，接受 ，即線性回歸方程無(wú)效。,F檢驗(yàn)與r檢驗(yàn)是一致的：,(三)回歸方程有效性的t檢驗(yàn)法,統(tǒng)計(jì)量,H0成立時(shí)，,對(duì)給定的檢驗(yàn)水平 ，H0的拒絕域?yàn)?即當(dāng) 時(shí)，變量 與 有線性相關(guān)關(guān)系。,F檢驗(yàn)與t檢驗(yàn)是一致的：,試求出 與 的關(guān)系，并判斷是否有效。,例8.3 為了研究大豆脂肪含量 和蛋白質(zhì)含量 的關(guān)系， 測(cè)定了九種大豆品種籽粒內(nèi)的脂肪含量和蛋白質(zhì)含量， 得到如下數(shù)據(jù),解 （1）描散點(diǎn)圖,（2）建立模型,由散點(diǎn)圖，設(shè)變量 與 為線性相關(guān)關(guān)系：,確定回歸系數(shù) 和 ：,所以，所求的回歸方程為,（3）檢驗(yàn)回歸方程的有效性,查相關(guān)系數(shù)臨界值表,因?yàn)?所以回歸方程在 的檢驗(yàn)水平下有統(tǒng)計(jì)意義。,即可以認(rèn)為大豆的蛋白質(zhì)含量與脂肪含量有線性相關(guān)性。,利用回歸方程進(jìn)行預(yù)測(cè),1、點(diǎn)預(yù)測(cè),時(shí)， 即為 的點(diǎn)預(yù)測(cè)值。,2、區(qū)間預(yù)測(cè),統(tǒng)計(jì)量,對(duì)給定的置信水平 ， 的預(yù)測(cè)區(qū)間為,續(xù)例1 求大豆脂肪含量為18.6%的條件下蛋白質(zhì) 95%的預(yù)測(cè)區(qū)間。,解 由已求得的回歸方程,得蛋白質(zhì)的點(diǎn)預(yù)測(cè)值為,所以脂肪含量為18.6%時(shí)，蛋白質(zhì)的95%的預(yù)測(cè)區(qū)間為,控制則為預(yù)測(cè)的反問(wèn)題：已知因變量的取值區(qū)間為,，確定自變量的取值區(qū)間 使得,利用回歸方程進(jìn)行控制,一般地，要解出 和 很復(fù)雜，可作簡(jiǎn)化求解：,當(dāng)樣本容量很大時(shí)，,，則,前一節(jié)，我們學(xué)習(xí)了一元線性回歸分析問(wèn)題，在實(shí) 際應(yīng)用中，有些變量之間并不是線性相關(guān)關(guān)系，但可以 經(jīng)過(guò)適當(dāng)?shù)淖儞Q，把非線性回歸問(wèn)題轉(zhuǎn)化為線性回歸問(wèn) 題。,可線性化的一元非線性回歸,常見(jiàn)的幾種變換形式：,1、雙曲線,令,2、冪函數(shù)曲線,令,化非線性回歸為線性回歸,變形,3、指數(shù)函數(shù)曲線,令,變形,4、負(fù)指數(shù)函數(shù)曲線,令,化非線性回歸為線性回歸,變形,5、對(duì)數(shù)