第四講多元線性回歸模型

1、第四講 多元線性回歸模型Ø 目的和要求：通過本章學(xué)習(xí)，要求學(xué)生理解多元線性回歸模型的矩陣表示，掌握多元線性回歸模型的參數(shù)估計(jì)，理解模型檢驗(yàn)的方法，學(xué)會(huì)應(yīng)用多元線性回歸模型進(jìn)行經(jīng)濟(jì)預(yù)測。Ø 教學(xué)重點(diǎn)：1、 普通最小二乘估計(jì)法；2、 多元線性回歸模型的檢驗(yàn)。Ø 教學(xué)難點(diǎn)：多元線性回歸模型的參數(shù)估計(jì)和檢驗(yàn) 知識體系1、回歸模型總體線性回歸模型與樣本線性回歸模型；回歸模型的矩陣表示；模型的基本假定2、參數(shù)估計(jì)OLS估計(jì)法；OLS估計(jì)量的性質(zhì)；OLS估計(jì)量的區(qū)間估計(jì)3、統(tǒng)計(jì)檢驗(yàn)方程總體顯著性檢驗(yàn)（F檢驗(yàn)）；變量顯著性檢驗(yàn)（t檢驗(yàn)）4、模型應(yīng)用總體均值的點(diǎn)預(yù)測與區(qū)間預(yù)測；個(gè)別

2、值的點(diǎn)預(yù)測與區(qū)間預(yù)測一、 為什么學(xué)習(xí)計(jì)量經(jīng)濟(jì)學(xué)？ 案例：中國汽車的保有量會(huì)達(dá)到1.4億輛嗎？中國經(jīng)濟(jì)的快速發(fā)展，使居民收入不斷增加，數(shù)以百萬計(jì)的中國人開始實(shí)現(xiàn)擁有汽車的夢想，中國也成為世界上成長最快的汽車市場。中國交通部副部長在中國交通可持續(xù)發(fā)展論壇上做出預(yù)測：“2020年，中國的民用汽車保有量將比2003年的數(shù)字增長倍，達(dá)到1.4億輛左右”。是什么因素導(dǎo)致中國汽車數(shù)量的增長？影響中國汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟(jì)增長、消費(fèi)趨勢、市場行情、業(yè)界心態(tài)、能源價(jià)格、道路發(fā)展、內(nèi)外環(huán)境，都會(huì)使中國汽車行業(yè)面臨機(jī)遇和挑戰(zhàn)。怎樣分析多種因素的影響？分析中國汽車行業(yè)未來的趨勢，應(yīng)具體分析這樣一些問題：

3、中國汽車市場發(fā)展的狀況如何？（用銷售量觀測）影響中國汽車銷量的主要因素是什么？（如收入、價(jià)格、費(fèi)用、道路狀況、能源、政策環(huán)境等）各種因素對汽車銷量影響的性質(zhì)怎樣？（正、負(fù)）各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？所得到的數(shù)量結(jié)論是否可靠？中國汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當(dāng)如何制定汽車的產(chǎn)業(yè)政策？顯然，只用一個(gè)解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展，還需要尋求多元回歸分析方法。一、 多元線性回歸模型（一）總體回歸模型和樣本回歸模型項(xiàng)目總體樣本多元線性回歸模型多元線性回歸函數(shù)隨機(jī)干擾項(xiàng)偏回歸系數(shù)Note: 多元回歸分析是以多個(gè)解釋變量的固定值為條件的回歸分析，反映了各解釋變量X值固定時(shí)Y的平均響應(yīng)。

4、偏回歸系數(shù)表示在其它解釋量保持不變的條件下，每變化1個(gè)單位時(shí)，的均值的變化。多元線性回歸模型中的“線性”是對各個(gè)回歸系數(shù)而言的，對變量而言，可以是線性，也可是非線性的。如柯布-道格拉斯生產(chǎn)函數(shù)，取自然對數(shù)轉(zhuǎn)化為（二）多元線性回歸模型的矩陣表示多元線性回歸模型的一般形式，可表示為： 用矩陣表示為： 總體回歸函數(shù) ：總體回歸模型：樣本回歸函數(shù)：樣本回歸模型： 其中：都是有個(gè)元素的列向量， 是有個(gè)元素的列向量，是第一列為1的階解釋變量的觀測值矩陣 （截距項(xiàng)可視為解釋變量取值為1）（三） 多元線性回歸中的基本假定1、 基本假定1 解釋變量為確定性變量，且各解釋變量之間不存在線性關(guān)系，即：矩陣

5、型式：矩陣是階非隨機(jī)矩陣和列滿秩矩陣，即：，也就是說，階方陣是可逆的非奇異矩陣。Note：列滿秩矩陣指一個(gè)矩陣的列數(shù)小于行數(shù)，且秩等于列數(shù)；行滿秩矩陣指一個(gè)矩陣的行數(shù)小于列數(shù)，且秩等于行數(shù)。 隨機(jī)干擾項(xiàng)具有零均值、同方差和不序列相關(guān)性，即零均值；同方差無序列相關(guān)矩陣形式： 隨機(jī)干擾項(xiàng)與解釋變量不相關(guān)，即矩陣形式： 隨機(jī)干擾項(xiàng)服從零均值，同方差，零協(xié)方差的正態(tài)分布，即：（中心極限定理）矩陣形式： 樣本容量趨于無窮時(shí)，各解釋變量的樣本方差趨于有限常數(shù)，即取值要有變異性，不能單調(diào)上升或下降 模型沒有設(shè)定偏誤（specification error） 樣本容量大于待估參數(shù)的個(gè)數(shù)，即2、的分布性質(zhì)（）零

6、均值假定：同方差假定：無序列相關(guān)假定：正態(tài)分布假定：二、參數(shù)估計(jì)（一）普通最小二乘法（OLS）1、基本思想隨機(jī)抽取n組樣本觀測值，若要使樣本回歸線盡可能好地?cái)M合這些散點(diǎn)的分布規(guī)律，則必須滿足所有樣本觀測點(diǎn)（）到樣本回歸線的距離之和最小，即：2、 參數(shù)的最小二乘估計(jì)1 微分求最值原理要使，則必使對的一階偏導(dǎo)數(shù)等于0，即可得正規(guī)方程組： Note:2 轉(zhuǎn)化成矩陣形式 樣本回歸函數(shù)為 兩邊同乘，可得： 階方陣是可逆的非奇異矩陣 Note: 行向量乘以列向量得到一個(gè)標(biāo)量（數(shù)）；列向量乘以行向量得到一個(gè)矩陣；求逆矩陣可使用初等變換的方法；為對稱的方陣。 3、 樣本回歸函數(shù)的離差形式1 樣本回歸函數(shù)的離差

7、形式其矩陣形式為：2 參數(shù)的OLS估計(jì)由微分求最值原理可知，要使，則必使：轉(zhuǎn)化成矩陣形式：同理可得，離差形式下參數(shù)的OLS估計(jì)量為： 二元線性回歸模型的OLS估計(jì) 對二元線性回歸模型的OLS估計(jì)量為：（二）OLS估計(jì)量的性質(zhì)1、 線性性2、 無偏性 3、 有效性最小方差性1 結(jié)論：在古典假定下，多元線性回歸的 OLS估計(jì)量是最佳線性無偏估計(jì)量（BLUE）（三）OLS回歸線的性質(zhì)*1、 樣本回歸線通過樣本均值點(diǎn)，即2、 估計(jì)值的均值等于實(shí)際觀測值的均值，即3、殘差的和為零，即，而殘差平方和最小，即 4、解釋變量與殘差的乘積之和為零，即5、被解釋變量的估計(jì)與殘差的乘積之和為零，即（四）OLS估計(jì)量

8、的區(qū)間估計(jì) 基本思想是隨機(jī)變量，必須確定其分布性質(zhì)才可能進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)是服從正態(tài)分布的隨機(jī)變量，決定了也是服從正態(tài)分布的隨機(jī)變量是的線性函數(shù)，決定了也是服從正態(tài)分布的隨機(jī)變量 1、 OLS估計(jì)量的分布性質(zhì) 方差已知 估計(jì)量是的線性組合 的分布函數(shù)取決于的分布函數(shù)又 也服從正態(tài)分布，即： Note：若隨機(jī)變量服從正態(tài)分布，則其線性組合也服從正態(tài)分布。 方差未知在隨機(jī)干擾項(xiàng)方差的估計(jì)出后，參數(shù)的樣本方差和標(biāo)準(zhǔn)差分別為：2、 構(gòu)造統(tǒng)計(jì)量1 方差已知2 方差 未知A. 小樣本當(dāng)樣本為小樣本時(shí)，可用代替去估計(jì)參數(shù)的置信區(qū)間，用估計(jì)的參數(shù)標(biāo)準(zhǔn)差對 作標(biāo)準(zhǔn)化變換，所得的統(tǒng)計(jì)量不再服從正態(tài)分布，而是服

9、從 t 分布：B. 大樣本當(dāng)樣本為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)差對作標(biāo)準(zhǔn)化變換，所得Z 統(tǒng)計(jì)量仍可視為標(biāo)準(zhǔn)正態(tài)變量（根據(jù)中心極限定理）3、 OLS估計(jì)量的區(qū)間估計(jì)1 構(gòu)造樞軸變量2 構(gòu)造概率為的事件，即：3 反解不等式，得到置信度為的置信區(qū)間：（五）樣本容量問題*1、 最小樣本容量2、 滿足基本要求的樣本容量一般認(rèn)為，當(dāng)，才能滿足模型估計(jì)的基本要求。三、統(tǒng)計(jì)檢驗(yàn)（一）擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)1 總變差分解分析Y 的觀測值、估計(jì)值與平均值的關(guān)系：總離差平方和（Total Sum of Square，），反映了樣本觀測值與其平均值的總體離差的大??；回歸平方和（Explained Su

10、m of Square，ESS），反映了由模型中解釋變量所解釋的那部分離差的大小；（來自回歸線）殘差平方和（Residual Sum of Square，RSS），反映了由模型中解釋變量不能解釋的那部分離差的大小。（來自隨機(jī)勢力）2 可決系數(shù)樣本回歸線與樣本觀測值的擬合程度在多元回歸模型中，由各個(gè)解釋變量聯(lián)合解釋了的變差，在的總變差中占的比重。若解釋變量的個(gè)數(shù)增加，殘差平方和減小或不變，則可決系數(shù)就變大。3 調(diào)整的可決系數(shù)消去自由度后的可決系數(shù)若調(diào)整的可決系數(shù)，則剔除新增加的解釋變量 新增加的解釋變量沒有解釋能力 殘差平方和基本保持不變，待估參數(shù)個(gè)數(shù)2*、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則赤池信息準(zhǔn)則（

11、AIC，Akaike information criterion）:施瓦茨準(zhǔn)則（SC，Schwarz criterion）: 若和，則剔除新增加的解釋變量。 新增加的解釋變量沒有解釋能力 殘差平方和基本保持不變，待估參數(shù)個(gè)數(shù)Note：剔除新增加的解釋變量的原則、和（二）方程總體顯著性檢驗(yàn)（F檢驗(yàn)）1、 F檢驗(yàn)的步驟1 分析問題，提出假設(shè)原假設(shè):；備擇假設(shè):2 確定檢驗(yàn)統(tǒng)計(jì)量3 構(gòu)造小概率事件，查F分布表，得到臨界值4 計(jì)算檢驗(yàn)統(tǒng)計(jì)量的值，判斷其落入的區(qū)域。若時(shí)，則拒絕，而接受，說明所有解釋變量聯(lián)合起來對被解釋變量有顯著影響。若時(shí)，則接受，說明所有解釋變量聯(lián)合起來對被解釋變量沒有顯著影響。2、

12、可決系數(shù)與F檢驗(yàn)的關(guān)系*1 區(qū)別擬合優(yōu)度檢驗(yàn)是從已經(jīng)得到估計(jì)的模型出發(fā)，檢驗(yàn)它對樣本觀測值的擬合程度；F檢驗(yàn)是從樣本觀測值出發(fā)檢驗(yàn)?zāi)Ｐ涂傮w線性關(guān)系的顯著性。擬合優(yōu)度檢驗(yàn)只是通過提供了對模型擬合優(yōu)度的度量，并沒有提供模型是否通過檢驗(yàn)的明確界限；F檢驗(yàn)可在給定顯著性水平下，給出模型總體線性關(guān)系是否顯著成立的結(jié)論。2 聯(lián)系擬合優(yōu)度檢驗(yàn)和F檢驗(yàn)都是在把總離差平方和TSS分解為回歸平方和ESS與殘差平方和RSS的基礎(chǔ)上構(gòu)造統(tǒng)計(jì)量進(jìn)行檢驗(yàn)的?？蓻Q系數(shù)與F同方向變化，越大，F(xiàn)越大，即模型對樣本數(shù)據(jù)的擬合程度越高，模型總體線性關(guān)系的顯著性越強(qiáng)。當(dāng)時(shí)， ；當(dāng)時(shí)， 結(jié)論：對方程的總體顯著性檢驗(yàn)，實(shí)際上也是對的顯著

13、性檢驗(yàn)。（三）變量顯著性檢驗(yàn)（t檢驗(yàn)）1、 t檢驗(yàn)的步驟分析問題，提出假設(shè)原假設(shè): ；備擇假設(shè):確定檢驗(yàn)的統(tǒng)計(jì)量構(gòu)造小概率事件計(jì)算檢驗(yàn)統(tǒng)計(jì)量的值，判斷其落入的區(qū)域。若時(shí)，則拒絕，而接受，說明解釋變量對被解釋變量有顯著影響，即兩者線性關(guān)系顯著。若時(shí)，則接受，說明解釋變量對被解釋變量沒有顯著影響，即兩者線性關(guān)系不顯著。2、 F檢驗(yàn)和t檢驗(yàn)的關(guān)系*1 區(qū)別F檢驗(yàn)是針對所有解釋變量對被解釋變量的聯(lián)合影響是否顯著所作的檢驗(yàn)；而t檢驗(yàn)是針對單個(gè)解釋變量對被解釋變量的影響是否顯著所作的檢驗(yàn)。在多元線性回歸模型中，F(xiàn)檢驗(yàn)和t檢驗(yàn)都要進(jìn)行，不能相互替代。因?yàn)閱蝹€(gè)解釋變量對被解釋變量的影響都顯著，不代表所有解釋變

14、量對被解釋變量的聯(lián)合影響顯著；反之亦然。2 聯(lián)系在一元線性回歸模型中，F(xiàn)檢驗(yàn)和t檢驗(yàn)是一致的，即一方面，原假設(shè)相同都是，另一方面，兩個(gè)統(tǒng)計(jì)量之間的關(guān)系為：F=t2四、模型應(yīng)用（一）總體均值的點(diǎn)預(yù)測 總體回歸函數(shù)為 當(dāng)時(shí)，又 樣本回歸函數(shù)為 當(dāng)時(shí)， 是條件均值的一個(gè)無偏估計(jì)，即可將作為總體均值的點(diǎn)預(yù)測。（二）總體均值的區(qū)間預(yù)測1、 的分布形式2、 區(qū)間預(yù)測的步驟1 構(gòu)造樞軸變量2 構(gòu)造概率為的事件3 反解不等式，得到置信度為的置信區(qū)間：（三）的區(qū)間預(yù)測1、的分布形式2、的區(qū)間預(yù)測的步驟1 構(gòu)造樞軸變量2 構(gòu)造概率為的事件3 反解不等式，得到置信度為的置信區(qū)間：Ø 附錄：4.1 最小二乘

15、估計(jì)法的矩陣求法根據(jù)普通最小二乘原理，要需找一組參數(shù)估計(jì)值，使得殘差平方和：即參數(shù)估計(jì)值應(yīng)該是方程組的解。求解過程為：Note：矩陣轉(zhuǎn)置的性質(zhì)4.2 矩陣求導(dǎo)公式1、矩陣對標(biāo)量求導(dǎo) 法則矩陣中每個(gè)元素均求導(dǎo)數(shù)后再轉(zhuǎn)置，即m×n矩陣求導(dǎo)后將變成n×m矩陣；公式2、標(biāo)量對列向量求導(dǎo)法則標(biāo)量對列向量的每個(gè)元素分別求偏導(dǎo)，但不轉(zhuǎn)置，對n×1向量求導(dǎo)后還是n×1向量；公式3、行向量對列向量求導(dǎo)法則1×m行向量對n×1列向量求導(dǎo)后是n×m矩陣，即將行向量的每一列對列向量每一行求偏導(dǎo)，將各列構(gòu)成一個(gè)矩陣。公式重要結(jié)論4、列向量對行向量求導(dǎo)法則m×1列向量對1×n行向量求導(dǎo)后是m×n矩陣，即將列向量的每一行對行向量每一列求偏導(dǎo)，將