曲線回歸與非線性回歸.ppt

IBM-SPSS,第27章 曲線回歸與非線性回歸,曲線直線化變化方法,曲線直線化法，即利用變量變換的方法，使變換后的兩個(gè)變量之間呈直線關(guān)系。求出直線回歸方程后，再將方程中的變量通過逆變換還原，求得所求的曲線回歸方程。,1多項(xiàng)式曲線y=a+bx+cx2 2對數(shù)函數(shù) y = a + blnx 3指數(shù)函數(shù)y = aebx或y = aeb/x（a 0） 4冪函數(shù)y=axb (a 0) 5雙曲線函數(shù) 1/y = a+b/x,變量變換后實(shí)現(xiàn)線性回歸的步驟,對于可以通過變量變換實(shí)現(xiàn)線性化的資料，回歸的步驟如下： （1）繪制散點(diǎn)圖，觀測散點(diǎn)圖分布特征類似于何種函數(shù)類型， （2）按照所選定的函數(shù)進(jìn)行相應(yīng)的變量轉(zhuǎn)換 （3）對變換后的數(shù)據(jù)建立直線回歸模型 （4）擬合多個(gè)相近的模型，然后通過比較各模型的擬合優(yōu)度挑選較為合適的模型。,實(shí)例詳解,對GDP（國內(nèi)生產(chǎn)總值）的擬合。選取GDP指標(biāo)為因變量，單位為百萬美元，請根據(jù)圖27-1所示中1993-2010年GDP數(shù)據(jù)，建立t-GDP曲線。,（1）用原始數(shù)據(jù)繪制散點(diǎn)圖，如圖27-2所示。,由圖27-2所示可以看出，兩個(gè)變量分布曲線類似于指數(shù)曲線y=b0b1t，由圖27-3所示觀測GDP與Lgt的散點(diǎn)圖，兩者成直線趨勢，可以考慮用最小二乘法擬合GDP與Lgt的直線回歸方程。,計(jì)算t的指數(shù)值生成新的變量Lgt，操作部驟如下：在菜單中單擊“轉(zhuǎn)換”計(jì)算變量，在“目標(biāo)變量”框中輸入“Lgt”作為新變量名，在“數(shù)字表達(dá)式”中輸入LG10（GDP）作為新的變量值，單擊“確定”按鈕。 （2）擬合GDP與Lgt的直線回歸方程結(jié)果解釋 如圖27-4所示為模型的擬合優(yōu)度情況，顯示模型的相關(guān)系數(shù)R為0.995，決定系數(shù)R2為0.913，說明該模型回歸的貢獻(xiàn)很大，表示回歸模型擬合結(jié)果好。,對擬合的模型進(jìn)行假設(shè)檢驗(yàn)（見結(jié)果圖27-5所示），F(xiàn)值為167.361，P值為0.000，說明這個(gè)回歸模型試驗(yàn)統(tǒng)計(jì)學(xué)意義的。,結(jié)果圖27-6所示中給出了包括常數(shù)項(xiàng)在內(nèi)的參數(shù)及檢驗(yàn)結(jié)果，進(jìn)行的是t檢驗(yàn)，可見常數(shù)項(xiàng)和Lgt均有統(tǒng)計(jì)學(xué)意義。 建立回歸方程為：y=5.8201.875t,曲線回歸,曲線直線化變化方法盡管有可能通過一些函數(shù)轉(zhuǎn)化方法在一定范圍內(nèi)將他們的關(guān)系轉(zhuǎn)變?yōu)榫€性關(guān)系，但這種轉(zhuǎn)化有可能導(dǎo)致更為復(fù)雜的計(jì)算或數(shù)據(jù)關(guān)系失真，這時(shí)我們可以通過進(jìn)行曲線擬合（Curve Fitting），曲線擬合是求解反應(yīng)變量間曲線關(guān)系的曲線回歸方程的過程。,實(shí)例詳解,研究發(fā)現(xiàn)，錫克氏試驗(yàn)陰性率隨兒童年齡增長而升高。查得山東某地17歲兒童的資料如圖27-10所示，試用曲線回歸分析方法擬合曲線。,（1）打開數(shù)據(jù)文件“錫克氏試驗(yàn)陰性率與兒童年齡.sav”，數(shù)據(jù)庫構(gòu)建如圖27-11所示。,（2）單擊“圖形”|“舊對話框”|“散點(diǎn)/點(diǎn)狀”命令，彈出“散點(diǎn)/點(diǎn)狀”對話框，如圖27-12所示。,（3）從圖27-12所示看到，隨著兒童年齡的增加，陰性率呈顯著的上升趨勢。但是這種上升趨勢并不是線性的，而表現(xiàn)為非線性的關(guān) 系。故可以考慮采用曲線擬合的方法。這里選用二次曲線模型、三次曲線模型和對數(shù)曲線模型。擬合三個(gè)模型，將三者擬合情況進(jìn)行比較，選擇擬合度較好的模型。,1操作步驟 在菜單中單擊“分析”|“回歸”|“曲線估計(jì)”命令，在“曲線估計(jì)”對話框選擇“陰性率”作為因變量，“兒童年齡”作為“自變量”，從模型欄中選取“cubic”、“quadratic”、“l(fā)ogarithmic”，單擊“確定”按鈕。,2實(shí)例結(jié)果及分析 （1）模型描述 圖27-13所示是SPSS對曲線擬合結(jié)果的初步描述統(tǒng)計(jì)，例如自變量和因變量、估計(jì)方程的類型等。,（2）模型匯總及參數(shù)估計(jì) 圖27-14所示模型描述是對進(jìn)行擬合的樣本例數(shù)進(jìn)行說明的信息。,圖27-16所示給出了樣本數(shù)據(jù)分別進(jìn)行三種曲線方程擬合的檢驗(yàn)統(tǒng)計(jì)量和相應(yīng)方程中的參數(shù)估計(jì)值。對于對數(shù)擬合，它的可決系數(shù)R2為0.914，F(xiàn)統(tǒng)計(jì)量等于52.999，概率P值小于顯著性水平0.05，說明該模型有統(tǒng)計(jì)學(xué)意義。 對于二次曲線方程和三次方程擬合來說，它對應(yīng)的可決系數(shù)R2分別為0.971和0.995，模型也顯著有效。 雖然上述模型都有顯著的統(tǒng)計(jì)學(xué)意義，但從可決系數(shù)的大小可以清晰看到三種曲線函數(shù)方程較其他兩種曲線方程擬合效果更好，因此選擇三種曲線方程來描述錫克氏試驗(yàn)陰性率與兒童年齡的關(guān)系。,（3）擬合曲線圖，如圖27-17所示。 最后給出的是實(shí)際數(shù)據(jù)的散點(diǎn)圖和三種估計(jì)曲線方程的預(yù)測圖。從圖27-8所示中也進(jìn)一步說明三次曲線曲線方程的擬合效果最好。,非線性回歸,因變量與自變量之間的相互關(guān)系可以用線性方程來近似的反應(yīng)。但是，在現(xiàn)實(shí)生活中，非線性關(guān)系大量存在。線性回歸模型要求變量之間必須是線性關(guān)系，曲線估 計(jì)只能處理能夠通過變量變換化為線性關(guān)系的非線性問題，因此這些 方法都有一定的局限性。相反的，非線性回歸可以估計(jì)因變量和自變 量之間具有任意關(guān)系的模型，用戶根據(jù)自身需要可隨意設(shè)定估計(jì)方程的具體形式。,實(shí)例詳解,假定數(shù)據(jù)文件圖27-24所示中是一家公司在8個(gè)周期間的廣告費(fèi)用與公司收入。公司的老板希望建立一個(gè)回歸模型用電視廣告費(fèi)用和報(bào)紙廣告費(fèi)用來預(yù)測公司收入。以往8周的樣本數(shù)據(jù)如圖27-24所示（單 位：千美元）。請建立回歸模型分析。,SPSS模塊說明 1非線性回歸 單擊“分析”|“回歸”|“非線性”命令，彈出單“非線性回歸”對話框，如圖27-18所示。,（1）選擇因變量 在“非線性回歸”對話框左側(cè)的候選變量列表框中選擇一個(gè)變量，將其添加至“自變量”列表框中，即選擇該變量作為非線性回歸分析的因變量。 （2）模式表達(dá)式選項(xiàng)框：用于定義非線性回歸模型的表達(dá)式。輸入的模型至少應(yīng)包含一個(gè)自變量。 （3）函數(shù)組選項(xiàng)框：給出了各種可能用到的函數(shù)類型。,2“參數(shù)”按鈕 單擊圖27-18所示中的“參數(shù)”按鈕，則彈出如圖27-19所示對話框。進(jìn)行迭代計(jì)算來確定模型參數(shù)，首先必須給定參數(shù)的初值。,3“損失”按鈕 定義了參數(shù)的起始值后，“損失”按鈕和“約束”按鈕被激活。單擊“損失”按鈕，則彈出如圖27-20所示對話框。用戶可以在該對話框內(nèi)設(shè)置損傷函數(shù)。,4“約束”按鈕 在主對話框中單擊激活的“約束”按鈕，則彈出如圖27-21所示對話框。在此對話框內(nèi)設(shè)置對參數(shù)的一些限制。,5“保存”按鈕 在主對話框中單擊激活的“保存”按鈕，則彈出如圖27-22所示對話框。有四個(gè)選項(xiàng)：“預(yù)測值”、“殘差”、“導(dǎo)數(shù)”、“損失函數(shù)值”。,6“選項(xiàng)”按鈕 在主對話框中單擊激活的“選項(xiàng)”按鈕，則彈出如圖27-23所示對話框。,實(shí)例詳解,假定數(shù)據(jù)文件圖27-24所示中是一家公司在8個(gè)周期間的廣告費(fèi)用與公司收入。公司的老板希望建立一個(gè)回歸模型用電視廣告費(fèi)用和報(bào)紙廣告費(fèi)用來預(yù)測公司收入。以往8周的樣本數(shù)據(jù)如表27-9所示（單 位：千美元）。請建立回歸模型分析。,首先繪制散點(diǎn)矩陣圖如圖27-25所示。,依據(jù)散點(diǎn)矩陣圖來判斷三個(gè)變量之間的關(guān)系。散點(diǎn)矩陣圖27-25分為9個(gè)子圖，它們分別描述了三者之間的變 化?？梢钥吹?，每周營業(yè)收入和兩種廣告費(fèi)用存在顯著線性 關(guān)系，觀察自變量 電視廣告費(fèi)用和報(bào)紙廣告費(fèi)用之間散點(diǎn)圖看到，這兩種廣告費(fèi)用之間也存在顯著的影響 關(guān)系，這說明了這兩個(gè)因變量之間可能存在交叉影響。于是，建立如 下非線性回歸方程： y=a+bx1+cx2+dx1x2+,1操作步驟 （1）打開數(shù)據(jù)文件。 （2）從主菜單欄中選擇“分析”“回歸”“非線性”命令，打開“非線性回歸”對話框。 （3）將變量“每周營業(yè)收入”作為因變量選入“因變量”列表框。 （4）單擊“參數(shù)”按鈕，打開“非線性回歸：參數(shù)”對話框。 （5）在此對話框中定義模型參數(shù)的起始值。單擊“繼續(xù)”按鈕返回主對話框。,（6）在“模型表達(dá)式”文本框中輸入a+b電視廣告費(fèi)用+c報(bào)紙廣告費(fèi)用+d電視廣告費(fèi)用報(bào)紙廣告費(fèi)用。 （7）單擊“保存”按鈕，打開“非線性回歸：保存”對話框。選擇“殘差”項(xiàng)保存新變量，單擊“繼續(xù)”按鈕返回主對話框。 （8）單擊“選項(xiàng)”打開“非線性回歸：選項(xiàng)”對話框。選中“標(biāo)準(zhǔn)無誤的輔助程序估計(jì)（B）”復(fù)選框，單擊“繼續(xù)”按鈕確認(rèn)并返回主對話框。 （9）設(shè)置完畢，單擊“確定”按鈕執(zhí)行上述操作。,2結(jié)果及分析,可以看出，經(jīng)過13次迭代后，模型達(dá)到收斂標(biāo)準(zhǔn)，最佳解被找到。于是，得到每周營業(yè)收入關(guān)于兩種廣告費(fèi)用的預(yù)測回歸模型為： y=86.531+1.089x-0.667x2+0.724x1x2,圖27-27所示給出了整個(gè)模型的顯著性檢驗(yàn)結(jié)果，可以看出，決定系數(shù)為0.941，擬合結(jié)果比較好。Uncorrected Total為未修正