《線性回歸分析》教學(xué)課件

線性回歸分析數(shù)據(jù)科學(xué)的基礎(chǔ)統(tǒng)計(jì)方法課程概述課程目標(biāo)掌握回歸分析的理論基礎(chǔ)學(xué)習(xí)內(nèi)容線性回歸模型的建立與應(yīng)用先修知識(shí)第一章：回歸分析基礎(chǔ)回歸分析的定義研究變量間依存關(guān)系的統(tǒng)計(jì)方法回歸分析的應(yīng)用領(lǐng)域回歸分析與相關(guān)分析的區(qū)別回歸分析研究自變量對(duì)因變量的影響可進(jìn)行預(yù)測(cè)和推斷需要?jiǎng)澐肿宰兞亢鸵蜃兞肯嚓P(guān)分析研究變量間的相關(guān)程度不涉及因果關(guān)系變量地位平等回歸分析的類型簡(jiǎn)單線性回歸一個(gè)自變量，一個(gè)因變量多元線性回歸多個(gè)自變量，一個(gè)因變量非線性回歸變量間非線性關(guān)系第二章：簡(jiǎn)單線性回歸簡(jiǎn)單線性回歸模型的定義描述一個(gè)自變量與一個(gè)因變量間的線性關(guān)系模型假設(shè)線性關(guān)系誤差項(xiàng)獨(dú)立同分布方差齊性簡(jiǎn)單線性回歸模型的數(shù)學(xué)表達(dá)y=β?+β?x+ε線性關(guān)系的數(shù)學(xué)表達(dá)式β?（截距）x=0時(shí)y的預(yù)測(cè)值β?（斜率）x變化一個(gè)單位時(shí)y的變化量ε（隨機(jī)誤差）模型無法解釋的隨機(jī)部分最小二乘法目標(biāo)函數(shù)最小化殘差平方和數(shù)學(xué)原理求導(dǎo)數(shù)等于零的點(diǎn)幾何意義尋找距離所有點(diǎn)總和最近的直線最小二乘估計(jì)β?的計(jì)算公式β?=Σ(x-x?)(y-?)/Σ(x-x?)2β?的計(jì)算公式β?=?-β?x?幾何解釋回歸直線必過(x?,?)點(diǎn)回歸方程的擬合點(diǎn)估計(jì)?=b?+b?x區(qū)間估計(jì)參數(shù)的置信區(qū)間構(gòu)建擬合效果評(píng)價(jià)通過統(tǒng)計(jì)指標(biāo)和圖形判斷回歸方程的評(píng)價(jià)指標(biāo)決定系數(shù)R2模型解釋的變異比例均方誤差MSE預(yù)測(cè)值與實(shí)際值差異的平方平均標(biāo)準(zhǔn)誤差SE回歸系數(shù)估計(jì)的精確程度殘差分析殘差的定義實(shí)際值與預(yù)測(cè)值之差e_i=y_i-?_i殘差圖的繪制橫軸為自變量或預(yù)測(cè)值縱軸為殘差值殘差圖的解釋隨機(jī)分布：模型適當(dāng)存在模式：模型可能有問題異常值檢測(cè)3σ標(biāo)準(zhǔn)差法則超出3倍標(biāo)準(zhǔn)差為異常1Cook's距離衡量觀測(cè)值對(duì)參數(shù)估計(jì)的影響2/n杠桿值閾值判斷樣本點(diǎn)對(duì)回歸結(jié)果的影響力簡(jiǎn)單線性回歸的假設(shè)檢驗(yàn)檢驗(yàn)類型檢驗(yàn)假設(shè)統(tǒng)計(jì)量t檢驗(yàn)H?:β?=0t=b?/SE(b?)F檢驗(yàn)H?:模型不顯著F=MSR/MSE預(yù)測(cè)與置信區(qū)間點(diǎn)預(yù)測(cè)給定x值時(shí)y的最佳估計(jì)置信區(qū)間參數(shù)真值所在的區(qū)間估計(jì)預(yù)測(cè)區(qū)間未來觀測(cè)值的可能范圍第三章：多元線性回歸多元線性回歸模型的定義多個(gè)自變量預(yù)測(cè)一個(gè)因變量基本形式y(tǒng)=β?+β?x?+β?x?+...+β?x?+ε模型假設(shè)線性性無多重共線性誤差項(xiàng)同方差多元線性回歸的矩陣表示多元線性回歸的最小二乘估計(jì)目標(biāo)函數(shù)最小化殘差平方和S(β)正規(guī)方程X'Xβ=X'Y參數(shù)估計(jì)β?=(X'X)?1X'Y多元回歸方程的擬合回歸系數(shù)解釋控制其他變量時(shí)單個(gè)變量的邊際效應(yīng)標(biāo)準(zhǔn)化系數(shù)不同單位變量影響的相對(duì)比較擬合優(yōu)度模型對(duì)數(shù)據(jù)的解釋能力多元回歸的評(píng)價(jià)指標(biāo)多重共線性危害參數(shù)估計(jì)不穩(wěn)定檢測(cè)方法相關(guān)系數(shù)矩陣和VIF解決方案刪除變量或使用正則化方法多元回歸的假設(shè)檢驗(yàn)1整體顯著性檢驗(yàn)F檢驗(yàn)：至少一個(gè)回歸系數(shù)不為零2偏回歸系數(shù)檢驗(yàn)t檢驗(yàn)：?jiǎn)蝹€(gè)回歸系數(shù)是否顯著3區(qū)間估計(jì)回歸系數(shù)的置信區(qū)間變量選擇方法向前選擇從無變量開始逐個(gè)添加向后剔除從全變量開始逐個(gè)刪除逐步回歸結(jié)合向前和向后方法第四章：回歸診斷殘差分析檢查模型假設(shè)影響分析識(shí)別高影響觀測(cè)值假設(shè)驗(yàn)證正態(tài)性、獨(dú)立性等模型改進(jìn)針對(duì)診斷結(jié)果調(diào)整模型異方差性檢驗(yàn)異方差性問題誤差項(xiàng)方差不恒定導(dǎo)致標(biāo)準(zhǔn)誤估計(jì)有偏White檢驗(yàn)基于殘差平方的回歸無需指定異方差形式Breusch-Pagan檢驗(yàn)需要指定異方差形式通過輔助回歸實(shí)現(xiàn)自相關(guān)性檢驗(yàn)觀測(cè)值殘差滯后殘差正態(tài)性檢驗(yàn)Q-Q圖直觀檢驗(yàn)殘差分布是否正態(tài)Shapiro-Wilk檢驗(yàn)小樣本最有效的正態(tài)性檢驗(yàn)Jarque-Bera檢驗(yàn)基于偏度和峰度的檢驗(yàn)?zāi)Ｐ鸵?guī)范性檢驗(yàn)?zāi)Ｐ驮O(shè)定錯(cuò)誤類型變量遺漏、函數(shù)形式錯(cuò)誤RESET檢驗(yàn)拉姆賽回歸方程規(guī)范錯(cuò)誤檢驗(yàn)增廣回歸檢驗(yàn)添加可能遺漏的變量檢驗(yàn)第五章：廣義線性模型隨機(jī)分量因變量分布假設(shè)系統(tǒng)分量線性預(yù)測(cè)因子η=Xβ鏈接函數(shù)連接期望值與線性預(yù)測(cè)因子邏輯回歸邏輯回歸特點(diǎn)處理二分類因變量因變量服從伯努利分布Logit模型ln(p/(1-p))=Xβ鏈接函數(shù)為logit函數(shù)系數(shù)解釋反映自變量對(duì)對(duì)數(shù)優(yōu)勢(shì)比的影響exp(βi)為優(yōu)勢(shì)比變化泊松回歸0,1,2...計(jì)數(shù)數(shù)據(jù)因變量為非負(fù)整數(shù)λ泊松分布均值等于方差ln對(duì)數(shù)鏈接ln(μ)=Xβ第六章：時(shí)間序列回歸時(shí)間序列特點(diǎn)觀測(cè)值按時(shí)間順序排列趨勢(shì)成分長(zhǎng)期變化方向季節(jié)性成分固定周期的波動(dòng)模式隨機(jī)成分不規(guī)則波動(dòng)自回歸模型滯后階數(shù)自相關(guān)系數(shù)移動(dòng)平均模型ARIMA模型模型識(shí)別確定p、d、q值參數(shù)估計(jì)最大似然法估計(jì)系數(shù)模型診斷殘差白噪聲檢驗(yàn)預(yù)測(cè)應(yīng)用生成未來值的點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)第七章：非線性回歸指數(shù)模型y=ae^(bx)冪函數(shù)模型y=ax^b邏輯斯蒂模型y=a/(1+e^(-b(x-c)))多項(xiàng)式回歸二次多項(xiàng)式y(tǒng)=β?+β?x+β?x2三次多項(xiàng)式y(tǒng)=β?+β?x+β?x2+β?x3過擬合問題高階項(xiàng)可能導(dǎo)致過擬合模型選擇通過AIC或交叉驗(yàn)證選擇階數(shù)分段線性回歸斷點(diǎn)確定視覺檢查或統(tǒng)計(jì)方法模型構(gòu)建不同區(qū)間使用不同線性關(guān)系連續(xù)性約束可選擇在斷點(diǎn)處保持連續(xù)第八章：回歸分析中的特殊問題問題類型影響處理方法異常值扭曲參數(shù)估計(jì)剔除或穩(wěn)健回歸缺失值減少樣本量插補(bǔ)或刪除多重共線性參數(shù)估計(jì)不穩(wěn)定變量選擇或正則化多重共線性的處理嶺回歸添加L2正則化項(xiàng)β?=(X'X+λI)?1X'Y控制系數(shù)大小主成分回歸提取自變量主成分用主成分替代原始變量降低維度變量變換對(duì)數(shù)變換處理指數(shù)關(guān)系平方根變換穩(wěn)定方差3Box-Cox變換參數(shù)化變換家族第九章：回歸分析在機(jī)器學(xué)習(xí)中的應(yīng)用過擬合模型過于復(fù)雜，捕捉噪聲欠擬合模型過于簡(jiǎn)單，無法捕捉關(guān)系交叉驗(yàn)證評(píng)估模型泛化能力的方法正則化方法Lasso回歸L1正則化，可實(shí)現(xiàn)變量選擇Ridge回歸L2正則化，收縮系數(shù)但不置零調(diào)參方法交叉驗(yàn)證選擇最優(yōu)正則化強(qiáng)度彈性網(wǎng)絡(luò)方法原理結(jié)合L1和L2正則化公式表達(dá)α·L1+(1-α)·L2優(yōu)勢(shì)同時(shí)具有變量選擇和系數(shù)收縮能力參數(shù)調(diào)優(yōu)調(diào)整α和λ兩個(gè)參數(shù)第十章：回歸樹和隨機(jī)森林決策樹回歸基于特征劃分樣本葉節(jié)點(diǎn)為區(qū)域平均值易解釋但易過擬合隨機(jī)森林回歸多棵樹的集成學(xué)習(xí)隨機(jī)選擇特征和樣本預(yù)測(cè)能力強(qiáng)但解釋性差支持向量回歸ε-不敏感損失容忍ε范圍內(nèi)的誤差2核函數(shù)處理非線性關(guān)系超參數(shù)C(懲罰系數(shù))和ε(誤差容忍度)第十一章：回歸分析在各領(lǐng)域的應(yīng)用經(jīng)濟(jì)學(xué)應(yīng)用需求分析、生產(chǎn)函數(shù)估計(jì)生物學(xué)應(yīng)用基因表達(dá)分析、藥物響應(yīng)預(yù)測(cè)心理學(xué)應(yīng)用行為預(yù)測(cè)、因素分析工程學(xué)應(yīng)用質(zhì)量控制、系統(tǒng)建?；貧w分析在金融中的應(yīng)用股票收益預(yù)測(cè)多因素回歸模型預(yù)測(cè)回報(bào)率風(fēng)險(xiǎn)評(píng)估波動(dòng)性和風(fēng)險(xiǎn)因子建模資產(chǎn)定價(jià)CAPM和APT等因子模型回歸分析在醫(yī)學(xué)中的應(yīng)用回歸分析在社會(huì)科學(xué)中的應(yīng)用68%教育成果預(yù)測(cè)家庭背景對(duì)學(xué)生成績(jī)的解釋率42%社會(huì)現(xiàn)象分析犯罪率與社會(huì)經(jīng)濟(jì)因素的關(guān)聯(lián)度3.5政策效果評(píng)估政策干預(yù)前后的效應(yīng)大小第十二章：回歸分析軟件實(shí)踐R語言實(shí)現(xiàn)lm()函數(shù)和各類擴(kuò)展包Python實(shí)現(xiàn)sklearn、statsmodels庫(kù)大數(shù)據(jù)工具SparkMLlib、TensorFlowSPSS中的回歸分析數(shù)據(jù)準(zhǔn)備導(dǎo)入數(shù)據(jù)并檢查質(zhì)量分析設(shè)置選擇菜單"分析"-"回歸"-"線性"參數(shù)選擇選擇變量和方法結(jié)果解釋閱讀系數(shù)表、ANOVA表等Excel中的回歸分析第十三章：回歸分析報(bào)告撰寫報(bào)告結(jié)構(gòu)研究問題、數(shù)據(jù)描述、方法、結(jié)果、討論圖表展示散點(diǎn)圖、殘差圖、模型預(yù)測(cè)圖表格呈現(xiàn)回歸系數(shù)表、顯著性檢驗(yàn)表文字表述解釋模型意義和實(shí)際應(yīng)用價(jià)值回歸結(jié)果的解釋輸出項(xiàng)解釋方法注意事項(xiàng)回歸系數(shù)變量單位變化的邊際效應(yīng)考慮變量單位和標(biāo)準(zhǔn)化p值系數(shù)顯著性水平注意多重檢驗(yàn)問題R2模型解釋變異比例非因果關(guān)系的指標(biāo)模型診斷報(bào)告殘差與擬合值圖檢查線性性和異方差性殘差Q-Q圖檢查殘差正態(tài)性殘差-杠桿圖檢測(cè)影響點(diǎn)和異常值第十四章：回歸分析的局限性4因果關(guān)系推斷問題相關(guān)不意味著因果遺漏變量偏誤重要變量未納入模型反向因果因變量可能影響自變量預(yù)測(cè)的不確定性預(yù)測(cè)區(qū)間可能較寬回歸分析的未來發(fā)展人工智能整