多元回歸擬合算法 (1)

1、 電化學(xué)甲醛檢測(cè)儀濃度預(yù)測(cè)算法：電化學(xué)甲醛檢測(cè)儀濃度預(yù)測(cè)算法：多元回歸擬合算法匯報(bào)人：孫皓目錄123多元回歸分析簡(jiǎn)介多元回歸分析步驟逐步回歸用于甲醛濃度預(yù)測(cè)多元回歸分析 回歸分析：是一種通過(guò)一組自變量來(lái)預(yù)測(cè)一個(gè)或多個(gè)因變量的統(tǒng)計(jì)方法。 多元線性回歸 多元：有多個(gè)自變量； 線性：通過(guò)自變量的線性組合對(duì)因變量進(jìn)行預(yù)測(cè)或估計(jì)；基本概念：多元線性回歸模型：), 0(Y2mm110Nxx ：常數(shù)項(xiàng),又稱為截距 ， : :偏回歸系數(shù)，簡(jiǎn)稱回歸系數(shù)。表示相應(yīng)的自變量對(duì)因變量的影響程度。 : :去除m個(gè)自變量對(duì)Y的影響后的隨機(jī)誤差，不可觀測(cè)。且通常假定 012m2(0,)N若進(jìn)行n次獨(dú)立觀測(cè)，得到n組樣本數(shù)據(jù)

2、 , , 每一組樣本數(shù)據(jù)分別滿足多元線性回歸模型，即有：12(,;)iiipixxxy1,2,in 1011121211201212222201122ppppnnnpnpnyxxxyxxxyxxx 寫(xiě)成矩陣形式：YX 12(,)Tn 12(,)TnYy yy 01(,)Tp 111212122212111ppnnnpxxxxxxXxxx 多元線性回歸基本步驟 步驟一：回歸系數(shù)的求解的求解方法：最小二乘法 我們尋求回歸系數(shù) 的適宜數(shù)值應(yīng)該使得實(shí)際觀察值和回歸方程估計(jì)值之間殘差平方和最小，即有：01,.,p01,.,p 2211=()殘差平方和nniiiiiQyy 2011221()niiipip

3、iyxxx 根據(jù)最小二乘法理論，將上式分別對(duì) 求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)為零,可獲得P1個(gè)正規(guī)方程，求解正規(guī)方程可得待估參數(shù)值。01,.,p 0112210011221110112212()02()02()0niiipipiniiipipiiniiipipipiPQyxxxQyxxxxQyxxxx (0,1, )iip (0,1, )iip 是要求解的 的最小二乘估計(jì)值。 步驟二：對(duì)得到的回歸方程進(jìn)行檢驗(yàn)11( )niiE yyyn n組觀測(cè)值的均值記為：總離差平方和： 21()niiyySST 回歸平方和： 21()niiySySR 殘差平方和： 21()niiiyySSE SSTSSRSSE 22

4、2111()()()nnniiiiiiiyyyyyyUQ則有： yabxxyy0()yy0()yy ()yy0ySSTSSRSSE 222111()()()nnniiiiiiiyyyyyyUQ 常用的檢驗(yàn)方法：可決系數(shù) F檢驗(yàn) T檢驗(yàn) 多重共線性檢驗(yàn)對(duì)回歸方程的檢驗(yàn)： 擬合度檢驗(yàn)（針對(duì)全部自變量的選擇） 回歸方程的顯著性檢驗(yàn)（針對(duì)回歸模型） 回歸系數(shù)的顯著性檢驗(yàn)（針對(duì)回歸系數(shù)） 多重共線性檢驗(yàn)（針對(duì)自變量與自變量之間的線性關(guān)系）可決系數(shù)：（判定系數(shù)，決定系數(shù)）22222211yyyyyyyyRSSTSSESSTSSESSTSSTSSRR 回歸平方和占總離差平方和的比例?；蛘哒f(shuō)，因變量取值的變差

5、中，能被多元回歸方程所解釋的比例。由R 2的意義看來(lái)，其值越接近于1，意味著模型的擬合優(yōu)度越高。 從理論上來(lái)講，隨著自變量個(gè)數(shù)的不斷增加，會(huì)使得R2不斷增加。為避免增加自變量而高估 R 2，引入了調(diào)整的R 2式中，n為樣本量，p為自變量個(gè)數(shù)2(1)1(1)SSEnpRSSTn 調(diào)整的R 2的引入，目的是懲罰過(guò)多的使用不重要的自變量，也可以用于比較多個(gè)模型。F檢驗(yàn)： 該類檢驗(yàn)主要針對(duì)回歸方程的顯著性檢驗(yàn) 回歸方程的顯著性檢驗(yàn)主要是檢驗(yàn)被解釋變量與所有的解釋變量之間的線性關(guān)系是否顯著。），（1p) 1/() (/)() 1/(/22pnFpnyypyypnSSEpSSRF對(duì)于多元線性回歸方程來(lái)說(shuō)，

6、F檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量： 式中，n為樣本量，p為自變量個(gè)數(shù)。其中p,n-p-1又被稱為自由度。F檢驗(yàn)的主要流程：1.提出假設(shè)H0：12k=0 線性關(guān)系不顯著；（不存在線性關(guān)系）H1：1，2， k至少有一個(gè)不等于0。2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F），（1p) 1/() (/)() 1/(/22pnFpnyypyypnSSEpSSRF3.由F值得到檢驗(yàn)P值 作出決策 確定顯著性水平和P比較，P 拒絕H0.T檢驗(yàn)： 前面兩種檢驗(yàn)，討論了回歸方程中全部自變量的總體回歸效果, 但總體回歸效果顯著并不說(shuō)明每個(gè)自變量對(duì)因變量都是重要的, 即可能有某個(gè)自變量對(duì)y并不起作用或者能被其它的自變量的作用所代替, 因此對(duì)這種自變量

7、我們希望從回歸方程中剔除, 這樣可以建立更簡(jiǎn)單的回歸方程。T檢驗(yàn)主要針對(duì)的是回歸系數(shù)的顯著性檢驗(yàn) 回歸系數(shù)的顯著性檢驗(yàn)主要是檢驗(yàn)回歸方程中被解釋變量與每一個(gè)解釋變量之間的線性關(guān)系是否顯著。對(duì)于多元線性回歸方程來(lái)說(shuō)， T檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量為：式中，n為樣本量，p為自變量個(gè)數(shù)，n-p-1為自由度， (1)iiitt npSiS為回歸系數(shù) 的標(biāo)準(zhǔn)差；ii為 對(duì)應(yīng)的回歸系數(shù)；ixT檢驗(yàn)的主要步驟：1.提出假設(shè) H0： bi = 0 (自變量 xi 與 因變量 y 沒(méi)有線性關(guān)系) H1： bi 0 (自變量 xi 與 因變量 y有線性關(guān)系) (1)iiitt npS3.由T值得到檢驗(yàn)P值 作出決策 確定顯

8、著性水平和P比較， P拒絕H0.2.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量 t多重共線性檢驗(yàn)：多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。多重共線性的后果 （1）偏回歸系數(shù)估計(jì)困難甚至難以得到估計(jì)值； （2）偏回歸系數(shù)的估計(jì)值得方差增大，使得估計(jì)值不合理； （3）偏回歸系數(shù)估計(jì)值不穩(wěn)定（隨著樣本含量的增減各偏回歸系數(shù)發(fā)生 較大變化或當(dāng)一個(gè)自變量被引入或剔除時(shí)其余變量偏回歸系數(shù)有很大變化）； （4）偏回歸系數(shù)假設(shè)檢驗(yàn)的結(jié)果不顯著，容易產(chǎn)生錯(cuò)誤的判定01122mMk Xk Xk XV 多重共線性的衡量：（1） 容忍度21iiRTol 是第i個(gè)解釋變量與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)的平方，表示解釋變量之間的線性

9、相關(guān)程度。 容忍度的取值范圍在0-1之間，越接近0表示多重共線性越強(qiáng)，越接近1表示多重共線性越弱。2iR（2）方差膨脹因子VIF 方差膨脹因子是容忍度的倒數(shù)。 VIF越大多重共線性越強(qiáng)，當(dāng)VIF大于等于10時(shí)，說(shuō)明存在嚴(yán)重的多重共線性。 （3）多元決定系數(shù)診斷 假定多元回歸模型 p個(gè)自變量,其多元決定系數(shù)為 。分別構(gòu)成不含其中某個(gè)自變量(Xi,i=1,2,p)的p個(gè)回歸模型,并應(yīng)用最小二乘法準(zhǔn)則分別擬合回歸方程,求出它們各自的決定系數(shù) (i=1,2,p)。 p,x,xx212yR2iR 如果其中的某一個(gè) 與 很接近,假設(shè)不含 的回歸模型，其決定系數(shù)與 很接近，說(shuō)明將 從模型中去掉，對(duì)回歸模型的

10、決定系數(shù)影響不大。 因此，可認(rèn)為該變量對(duì)Y總變異的解釋能力可由其他自變量代替。它很有可能是其他自變量的線性組合。該自變量進(jìn)入模型后就有可能引起多重共線性問(wèn)題。2iR2yR1X2yR1X逐步回歸主要思想： 在考慮的全部自變量中按其對(duì)因變量的貢獻(xiàn)（偏回歸平方和）的大小, 由大到小地逐個(gè)引入回歸方程,。另外, 己被引入回歸方程的變量在引入新變量后也可能失去重要性, 而需要從回歸方程中剔除出去。引入一個(gè)變量或者從回歸方程中剔除一個(gè)變量都稱為逐步回歸的一步, 每一步都要進(jìn)行相關(guān)的檢驗(yàn)?；貧w步驟：全部待引入回歸方程的變量分別計(jì)算其偏回歸平方和, 并選其中偏回歸平方和最大的一個(gè)變量，進(jìn)行F檢驗(yàn)，顯著則引入，

11、不顯著則停止引入。對(duì)已引入回歸方程的變量計(jì)算其偏回歸平方和, 然后選一個(gè)偏回歸平方和最小的變量,進(jìn)行F檢驗(yàn), 如果顯著則不踢出轉(zhuǎn)到 。如不顯著則需踢出，然后按偏回歸平方和由小到大地依次對(duì)方程中其它變量進(jìn)行 F 檢驗(yàn)。偏回歸平方和： 多元回歸擬合在甲醛濃度預(yù)測(cè)中的應(yīng)用 在回歸模型中，自變量的次數(shù)超過(guò)三次的模型很不穩(wěn)定，故實(shí)際中盡量采用3次以下的模型來(lái)進(jìn)行擬合。 模型中可能存在的項(xiàng)有：v2t2、v2t、vt2、vt、v2、v、t2、t、 ln(v2t2 )、ln(v2t)、ln(vt2 )、ln(vt)、ln(v2)、ln(v)、 ln(t2 )、ln(t)、EXP(v2)、EXP(v)。計(jì)算每個(gè)變量的偏回歸平方和V的貢獻(xiàn)最大，將V加入模型運(yùn)用SPSS進(jìn)行逐步回歸，得到回歸方程含有的項(xiàng)為v2t和v。配成配成： 2Yab Vc V t在MALAB中使用Regress函數(shù)可求出系數(shù)，進(jìn)而完成相關(guān)的數(shù)據(jù)處理工作。序號(hào)：預(yù)測(cè)值（ppm）：真實(shí)值（ppm）：相對(duì)誤