《回歸分析及其應(yīng)用》課件

回歸分析及其應(yīng)用統(tǒng)計建模與預(yù)測變量關(guān)系的量化分析課程概述課程目標(biāo)掌握回歸分析理論課程內(nèi)容基礎(chǔ)理論到高級應(yīng)用學(xué)習(xí)要求第一章：回歸分析基礎(chǔ)1定義與歷史回歸分析的起源與發(fā)展2基本概念變量關(guān)系的類型3應(yīng)用場景多學(xué)科的實際應(yīng)用1.1回歸分析的定義統(tǒng)計學(xué)方法研究變量間相互依賴的數(shù)量關(guān)系變量間關(guān)系研究確定自變量如何影響因變量預(yù)測與解釋建立模型用于預(yù)測和解釋現(xiàn)象1.2回歸分析的歷史11885年高爾頓研究父子身高關(guān)系21805年勒讓德提出最小二乘法31809年高斯發(fā)表最小二乘法理論4現(xiàn)代計算機技術(shù)推動回歸分析發(fā)展1.3變量間的關(guān)系類型函數(shù)關(guān)系確定性關(guān)系一個自變量值對應(yīng)唯一因變量值例：圓面積與半徑相關(guān)關(guān)系統(tǒng)計性關(guān)系存在隨機波動例：身高與體重1.4回歸分析的基本思想數(shù)據(jù)收集獲取研究變量的觀測值建立數(shù)學(xué)模型確定變量間關(guān)系的函數(shù)形式參數(shù)估計使用統(tǒng)計方法估計模型參數(shù)模型評價驗證模型的有效性1.5回歸分析的應(yīng)用領(lǐng)域經(jīng)濟(jì)學(xué)需求預(yù)測、經(jīng)濟(jì)增長分析生物學(xué)生長曲線、藥物效應(yīng)研究社會科學(xué)行為研究、教育成果分析工程技術(shù)質(zhì)量控制、可靠性分析第二章：簡單線性回歸模型形式一個自變量與一個因變量的線性關(guān)系參數(shù)估計使用最小二乘法求解參數(shù)模型評價通過決定系數(shù)、F檢驗等評估模型預(yù)測應(yīng)用基于模型進(jìn)行點預(yù)測和區(qū)間預(yù)測2.1簡單線性回歸模型模型形式Y(jié)=β?+β?X+ε截距項β?X=0時Y的期望值斜率β?X變化一個單位時Y的平均變化量隨機誤差ε遵循正態(tài)分布N(0,σ2)2.2最小二乘法基本原理使殘差平方和最小目標(biāo)函數(shù)Q=Σ(Y?-β?-β?X?)2求導(dǎo)分別對β?和β?求偏導(dǎo)解方程聯(lián)立方程求解參數(shù)估計值2.3回歸系數(shù)的估計點估計β??=Σ(X?-X?)(Y?-?)/Σ(X?-X?)2β??=?-β??X?區(qū)間估計β?±t(α/2,n-2)·s(β?)置信水平通常為95%2.4模型評價決定系數(shù)R2模型解釋的變異比例F檢驗檢驗回歸方程的顯著性t檢驗檢驗回歸系數(shù)的顯著性殘差分析檢驗?zāi)Ｐ图僭O(shè)是否滿足2.5預(yù)測點預(yù)測?=β??+β??X?給定X?值的單一Y預(yù)測值區(qū)間預(yù)測預(yù)測區(qū)間考慮隨機誤差和參數(shù)估計誤差比置信區(qū)間更寬2.6實例分析數(shù)據(jù)介紹房屋面積與售價數(shù)據(jù)模型建立售價=β?+β?×面積結(jié)果解釋面積每增加1平方米，價格增加β?萬元第三章：多元線性回歸1多元回歸模型形式包含多個自變量的線性模型2參數(shù)估計技術(shù)矩陣運算與最小二乘法3模型診斷與優(yōu)化多重共線性、變量選擇與殘差分析3.1多元線性回歸模型模型形式Y(jié)=β?+β?X?+β?X?+...+β?X?+ε參數(shù)含義β?是截距偏回歸系數(shù)β?表示其他變量不變時X?的邊際效應(yīng)隨機誤差ε~N(0,σ2)3.2多元回歸的矩陣表示觀測值向量Y=[y?,y?,...,y?]?設(shè)計矩陣X包含所有自變量值和常數(shù)項參數(shù)向量β=[β?,β?,...,β?]?矩陣形式Y(jié)=Xβ+ε3.3最小二乘估計正規(guī)方程X?Xβ?=X?Y參數(shù)估計β?=(X?X)?1X?Y擬合值?=Xβ?殘差e=Y-?3.4多重共線性定義自變量之間存在線性相關(guān)關(guān)系診斷方法方差膨脹因子(VIF)分析處理方法剔除變量、嶺回歸、主成分分析3.5變量選擇向前選擇法從空模型開始逐步加入變量向后剔除法從全模型開始逐步剔除變量逐步回歸法結(jié)合向前和向后的方法最優(yōu)子集法比較所有可能的變量組合3.6模型診斷殘差分析檢驗隨機誤差的正態(tài)性和方差齊性異常值檢測識別學(xué)生化殘差、庫克距離杠桿點分析識別對模型有高杠桿作用的觀測模型驗證使用測試集評估預(yù)測性能3.7實例分析數(shù)據(jù)描述房價與面積、位置、房齡等因素模型構(gòu)建對數(shù)變換處理偏度變量選擇使用AIC準(zhǔn)則確定最優(yōu)模型結(jié)果分析解釋各因素對房價的影響程度第四章：廣義線性模型模型擴展突破經(jīng)典線性模型的限制特殊形式logistic回歸、泊松回歸等估計方法最大似然估計、迭代加權(quán)最小二乘法應(yīng)用場景分類問題、計數(shù)數(shù)據(jù)分析4.1廣義線性模型概述1定義線性模型的推廣形式2隨機成分響應(yīng)變量服從指數(shù)族分布3系統(tǒng)成分線性預(yù)測器η=Xβ4連接函數(shù)連接期望值與線性預(yù)測器g(μ)=η4.2logistic回歸二項logistic回歸預(yù)測二分類結(jié)果概率連接函數(shù)：logit(p)=ln(p/(1-p))適用：疾病診斷、信用評估多項logistic回歸處理多分類問題使用多個logit函數(shù)適用：消費者選擇分析4.3泊松回歸模型形式ln(μ)=Xβ分布假設(shè)響應(yīng)變量服從泊松分布應(yīng)用場景計數(shù)數(shù)據(jù)：事故頻次、疾病發(fā)生數(shù)過度離散方差大于均值時需要特殊處理4.4模型擬合最大似然估計找出使觀測數(shù)據(jù)概率最大的參數(shù)值對數(shù)似然函數(shù)轉(zhuǎn)換乘積為求和便于計算迭代計算使用牛頓-拉夫森法求解IWLS迭代加權(quán)最小二乘法優(yōu)化求解4.5模型評價似然比檢驗比較嵌套模型AIC準(zhǔn)則平衡擬合優(yōu)度和模型復(fù)雜度ROC曲線評估分類模型的判別能力混淆矩陣計算精確率、召回率等指標(biāo)4.6實例分析logistic回歸應(yīng)用信用風(fēng)險預(yù)測客戶特征與違約風(fēng)險關(guān)系構(gòu)建風(fēng)險評分卡模型泊松回歸應(yīng)用疾病發(fā)生率分析環(huán)境因素對疾病發(fā)生的影響計算相對風(fēng)險比第五章：非線性回歸1模型形式參數(shù)與因變量非線性關(guān)系參數(shù)估計非線性最小二乘法、迭代算法轉(zhuǎn)換技術(shù)線性化變換、數(shù)值優(yōu)化方法5.1非線性回歸模型定義參數(shù)與因變量存在非線性關(guān)系指數(shù)模型Y=β?e?1?+ε冪函數(shù)模型Y=β?X?1+εLogistic模型Y=β?/(1+e^(-β?(X-β?)))+ε5.2參數(shù)估計方法最小二乘法最小化殘差平方和需要迭代求解適用于誤差正態(tài)分布情況最大似然估計最大化觀測數(shù)據(jù)的概率可處理不同誤差分布需要指定概率密度函數(shù)5.3線性化轉(zhuǎn)換對數(shù)轉(zhuǎn)換將乘法關(guān)系轉(zhuǎn)為加法關(guān)系倒數(shù)轉(zhuǎn)換處理分式形式的非線性關(guān)系變量替代引入新變量簡化模型形式轉(zhuǎn)換的局限性可能改變誤差結(jié)構(gòu)5.4非線性最小二乘法Gauss-Newton算法基于一階泰勒展開Levenberg-Marquardt算法結(jié)合梯度下降和Gauss-Newton方法初值選擇對算法收斂性至關(guān)重要收斂判斷參數(shù)變化或殘差變化小于閾值5.5模型評價殘差分析檢驗隨機性和正態(tài)性偽R2評估模型擬合優(yōu)度預(yù)測能力評估交叉驗證、PRESS統(tǒng)計量參數(shù)敏感性分析評估模型穩(wěn)定性5.6實例分析生長曲線擬合生物體生長過程建模使用Logistic或Gompertz模型預(yù)測最大生長量和生長速率藥物動力學(xué)模型藥物在體內(nèi)濃度變化使用多指數(shù)衰減模型計算藥物半衰期和清除率第六章：時間序列回歸1時間序列特征趨勢、季節(jié)性、周期性和隨機波動2基本模型AR、MA、ARMA等模型3高級模型ARIMA、季節(jié)性ARIMA6.1時間序列的特征趨勢長期變化方向季節(jié)性固定周期的波動周期性非固定周期的波動隨機波動不規(guī)則變動6.2自回歸模型(AR)模型形式Y(jié)t=φ?Yt??+φ?Yt??+...+φ?Yt??+εtAR(p)模型p階自回歸，當(dāng)前值依賴于p個滯后值參數(shù)估計Yule-Walker方程、最小二乘法平穩(wěn)性條件特征方程根落在單位圓外6.3移動平均模型(MA)模型形式Y(jié)t=εt+θ?εt??+θ?εt??+...+θqεt?qMA(q)模型q階移動平均，當(dāng)前值依賴于當(dāng)前及q個滯后白噪聲參數(shù)估計最大似然估計、非線性最小二乘可逆性條件特征方程根落在單位圓外6.4ARMA模型模型構(gòu)建ARMA(p,q)結(jié)合AR和MA特點Yt=φ?Yt??+...+φ?Yt??+εt+θ?εt??+...+θqεt?q預(yù)測方法遞推法最小均方誤差預(yù)測預(yù)測誤差隨著預(yù)測期增加而擴大6.5ARIMA模型差分處理使非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列模型識別利用ACF和PACF確定p、d、q值參數(shù)估計最大似然法估計模型參數(shù)模型檢驗殘差白噪聲檢驗、信息準(zhǔn)則比較6.6季節(jié)性ARIMA模型模型形式SARIMA(p,d,q)(P,D,Q)s季節(jié)性參數(shù)P,D,Q表示季節(jié)性部分階數(shù)周期參數(shù)s月度數(shù)據(jù)s=12，季度數(shù)據(jù)s=4應(yīng)用場景銷售、旅游、氣溫等季節(jié)性明顯數(shù)據(jù)6.7實例分析時間序列模型在銷售預(yù)測、股價分析和經(jīng)濟(jì)指標(biāo)預(yù)測中的應(yīng)用案例第七章：面板數(shù)據(jù)回歸數(shù)據(jù)特征橫截面和時間序列的結(jié)合同時觀察多個個體在多個時點的數(shù)據(jù)主要模型固定效應(yīng)模型隨機效應(yīng)模型動態(tài)面板模型7.1面板數(shù)據(jù)概述定義同時包含橫截面和時間序列信息的數(shù)據(jù)優(yōu)勢更大樣本量，控制個體異質(zhì)性平衡面板每個個體觀測期相同非平衡面板觀測期不完全相同7.2固定效應(yīng)模型模型假設(shè)個體效應(yīng)與解釋變量相關(guān)模型形式Y(jié)??=X??β+α?+ε??估計方法去均值變換、LSDV局限性無法估計時不變變量的效應(yīng)7.3隨機效應(yīng)模型模型假設(shè)個體效應(yīng)與解釋變量不相關(guān)個體效應(yīng)是隨機變量模型形式Y(jié)??=X??β+(α?+ε??)誤差項為復(fù)合誤差估計方法廣義最小二乘法(GLS)可估計時不變變量效應(yīng)7.4Hausman檢驗原理檢驗個體效應(yīng)與解釋變量是否相關(guān)零假設(shè)隨機效應(yīng)模型更合適備擇假設(shè)固定效應(yīng)模型更合適檢驗統(tǒng)計量基于兩種估計量差異構(gòu)造7.5動態(tài)面板模型模型特點包含因變量滯后項2估計問題滯后項與誤差項相關(guān)導(dǎo)致內(nèi)生性GMM估計差分GMM利用滯后變量作為工具變量系統(tǒng)GMM結(jié)合差分方程和水平方程估計7.6實例分析經(jīng)濟(jì)增長模型分析各國增長率差異控制國家特有因素使用固定效應(yīng)模型公司財務(wù)分析研究資本結(jié)構(gòu)影響因素處理企業(yè)異質(zhì)性使用動態(tài)面板模型第八章：回歸分析在機器學(xué)習(xí)中的應(yīng)用樹基模型回歸樹、集成方法核方法與神經(jīng)網(wǎng)絡(luò)支持向量回歸、深度學(xué)習(xí)正則化技術(shù)嶺回歸、LASSO回歸8.1回歸樹決策樹原理遞歸二分，最小化節(jié)點內(nèi)方差CART算法通過貪心算法選擇最佳分割點剪枝技術(shù)避免過擬合，提高泛化能力優(yōu)勢可解釋性強，適應(yīng)非線性關(guān)系8.2支持向量回歸SVM原理構(gòu)建最大容忍帶ε-不敏感損失函數(shù)忽略ε范圍內(nèi)的誤差核函數(shù)選擇線性核、多項式核、RBF核參數(shù)調(diào)優(yōu)交叉驗證優(yōu)化C、ε和核參數(shù)8.3神經(jīng)網(wǎng)絡(luò)回歸多層感知機輸入層、隱藏層、輸出層激活函數(shù)ReLU、sigmoid、tanh等反向傳播算法梯度下降更新權(quán)重優(yōu)化技術(shù)批歸一化、dropout防止過擬合8.4集成學(xué)習(xí)方法隨機森林Bagging方法構(gòu)建多棵獨立決策樹平均預(yù)測結(jié)果降