主成分分析與因子分析的主要方法和思想

1、1.(10分數(shù)據(jù)中心化和標準化在回歸分析中的意義是什么?在多元線性回歸分析中,因為涉及多個自變量,自變量的單位往往不同,會給分析帶來一定的困難,又由于涉及的數(shù)據(jù)量很大,就可能會以舍入誤差而使得計算結(jié)果不理想.1.中心化處理后可以減少一個未知參數(shù),減少了計算的工作量,對手工計算尤為重要.2.標準化處理后有利于消除量綱不同和數(shù)量級的差異所帶來的影響,避免不必要的誤差.2.(10分在實際問題中運用多元線性回歸應(yīng)注意哪些問題?在實際問題中,人們用復(fù)相關(guān)系數(shù)R來表示回歸方程對原有數(shù)據(jù)擬合程度的好壞,但是擬合優(yōu)度并不是檢驗?zāi)Ｐ蛢?yōu)劣的唯一標準,有時為了使模型從結(jié)構(gòu)上有較合理的經(jīng)濟解釋,R2等于0.7左右也給

2、回歸模型以肯定的態(tài)度.在多元線性回歸分析中,我們并不看重簡單相關(guān)系數(shù),而認為偏相關(guān)系數(shù)才是真正反映因變量y與自變量x i以及自變量x i與x j的相關(guān)性的數(shù)量.用相關(guān)系數(shù)R2大小來衡量模型的擬合優(yōu)度,不能僅由R2值很大來推斷模型優(yōu)劣.在實際應(yīng)用回歸方程進行控制和預(yù)測時,給定的x0值不能偏離樣本均值太大,如果太大,用回歸方程無論是作因素分析還是經(jīng)濟預(yù)測,效果都不會理想.得到實際問題的經(jīng)驗回歸方程后,還不能馬上用它去作分析和預(yù)測,還需運用統(tǒng)計方法對回歸方程進行檢驗.3.(15分主成分分析與因子分析的主要方法和思想是什么?兩者有何聯(lián)系與區(qū)別?求解主成分的方法:從協(xié)方差陣出發(fā)(協(xié)方差陣已知,從相關(guān)陣出

3、發(fā)(相關(guān)陣R已知,采用的方法只有主成分法。一、主成分分析的基本思想在對某一事物進行實證研究中,為了更全面、準確地反映出事物的特征及其發(fā)展規(guī)律,人們往往要考慮與其有關(guān)系的多個指標,這些指標在多元統(tǒng)計中也稱為變量。這樣就產(chǎn)生了如下問題:一方面人們?yōu)榱吮苊膺z漏重要的信息而考慮盡可能多的指標,而另一方面隨著考慮指標的增多增加了問題的復(fù)雜性,同時由于各指標均是對同一事物的反映,不可避免地造成信息的大量重疊,這種信息的重疊有時甚至?xí)⑹挛锏恼嬲卣髋c內(nèi)在規(guī)律?；谏鲜鰡栴},人們就希望在定量研究中涉及的變量較少,而得到的信息量又較多。主成分分析正是研究如何通過原來變量的少數(shù)幾個線性組合來解釋原來變量絕大多

4、數(shù)信息的一種多元統(tǒng)計方法。既然研究某一問題涉及的眾多變量之間有一定的相關(guān)性,就必然存在著起支配作用的共同因素,根據(jù)這一點,通過對原始變量相關(guān)矩陣或協(xié)方差矩陣內(nèi)部結(jié)構(gòu)關(guān)系的研究,利用原始變量的線性組合形成幾個綜合指標(主成分,在保留原始變量主要信息的前提下起到降維與簡化問題的作用,使得在研究復(fù)雜問題時更容易抓住主要矛盾。一般地說,利用主成分分析得到的主成分與原始變量之間有如下基本關(guān)系:1.每一個主成分都是各原始變量的線性組合;2.主成分的數(shù)目大大少于原始變量的數(shù)目3.主成分保留了原始變量絕大多數(shù)信息4.各主成分之間互不相關(guān)通過主成分分析,可以從事物之間錯綜復(fù)雜的關(guān)系中找出一些主要成分,從而能有效

5、利用大量統(tǒng)計數(shù)據(jù)進行定量分析,揭示變量之間的內(nèi)在關(guān)系,得到對事物特征及其發(fā)展規(guī)律的一些深層次的啟發(fā),把研究工作引向深入。因子分析方法:求解因子載荷的方法:主成分法,主軸因子法,極大似然法,最小二乘法,a因子提取法。因子分析的基本思想因子分析的基本思想是根據(jù)相關(guān)性大小把原始變量分組,使得同組內(nèi)的變量之間相關(guān)性較高,而不同組的變量間的相關(guān)性則較低。每組變量代表一個基本結(jié)構(gòu),并用一個不可觀測的綜合變量表示,這個基本結(jié)構(gòu)就稱為公共因子。對于所研究的某一具體問題,原始變量就可以分解成兩部分之和的形式,一部分是少數(shù)幾個不可測的所謂公共因子的線性函數(shù),另一部分是與公共因子無關(guān)的特殊因子。在經(jīng)濟統(tǒng)計中,描述一

6、種經(jīng)濟現(xiàn)象的指標可以有很多,比如要反映物價的變動情況,對各種商品的價格做全面調(diào)查固然可以達到目的,但這樣做顯然耗時耗力,為實際工作者所不取。兩者的聯(lián)系主成分分析和因子分析方法都屬于多元統(tǒng)計分析中處理降維的統(tǒng)計方法。在數(shù)理統(tǒng)計的基本原理上,兩者都是基于多變量的相關(guān)系數(shù)矩陣,在確保較少信息缺失的前提下(一般小于或等于15%,用少數(shù)幾個不相關(guān)綜合變量概括多個變量的信息(多個變量之間存在較強的相關(guān)性。即用少數(shù)不相關(guān)的綜合變量盡可能全面的反映多個原始變量的信息,消除了原始變量的相關(guān)性,可信度得到提高,統(tǒng)計結(jié)果可以有效地解釋現(xiàn)實問題。需要注意的是,兩種方法產(chǎn)生的新的變量(因子不是原始變量篩選后的剩余變量,

7、而是綜合所有變量信息后的新變量。其中,在主成分分析過程中,新變量是原始變量的線性組合,即將多個原始變量經(jīng)過線性(坐標變換得到新的變量。在因子分析過程中,新變量則是通過原始變量之間的復(fù)雜關(guān)系對原始變量進行分解,得到公共因子和特殊因子。其中公共因子是所有原始變量中所共同具有的特征,而特殊因子則是原始變量所特有的部分。兩種方法下得到的主成分變量與因子變量在數(shù)量上顯著少于原始變量,起到了降維的作用,也提高了數(shù)據(jù)有效利用程度.主成分分析與因子分析的區(qū)別老師的版本1、因子分析把展示在我們面前的諸多變量看成由對每一個變量都有作用的一些公共因子和一些僅對某一個變量有作用的特殊因子線性組合而成。因此,我們的目的

8、就是要從數(shù)據(jù)中探查能對變量起解釋作用的公共因子和特殊特殊因子,以及公共因子和特殊因子組合系數(shù)。主成分分析則簡單一些,它只是從空間生成的角度尋找能解釋諸多變量變異絕大部分的幾組彼此不相關(guān)的新變量(主成分。2、因子分析中是把變量表示成各因子的線性組合,而主成分分析中則是把主成分表示成各變量的線性組合。3、主成分分析中不需要有假設(shè),因子分析則需要一些假設(shè)。因子分析的假設(shè)包括:各個公共因子之間不相關(guān),特殊因子(specific factor之間也不相關(guān),公共因子和特殊因子之間也不相關(guān)。4、抽取主因子的方法不僅僅有主成分法,還有極大似然法等,基于這些不同算法得到的結(jié)果一般也不同。而主成分只能用主成分法抽

9、取。5、主成分分析中,當給定的協(xié)方差矩陣或者相關(guān)矩陣的特征值是唯一的時候,主成分一般是固定的;而因子分析中因子不是固定的,可以旋轉(zhuǎn)得到不同的因子。6、在因子分析中,因子個數(shù)需要分析者指定(spss根據(jù)一定的條件自動設(shè)定,只要是特征值大于1的因子進入分析,指定的因子數(shù)量不同而結(jié)果不同。在主成分分析中,成分的數(shù)量是一定的,一般有幾個變量就有幾個主成分。7、和主成分分析相比,由于因子分析可以使用旋轉(zhuǎn)技術(shù)幫助解釋因子,在解釋方面更加有優(yōu)勢。而如果想把現(xiàn)有的變量變成少數(shù)幾個新的變量(新的變量幾乎帶有原來所有變量的信息來進入后續(xù)的分析,則可以使用主成分分析。當然,這中情況也可以使用因子得分做到。所以這種區(qū)

10、分不是絕對的。網(wǎng)上的版本1.原理不同主成分分析基本原理:利用降維(線性變換的思想,在損失很少信息的前提下把多個指標轉(zhuǎn)化為幾個不相關(guān)的綜合指標(主成分,即每個主成分都是原始變量的線性組合,且各個主成分之間互不相關(guān),使得主成分比原始變量具有某些更優(yōu)越的性能(主成分必須保留原始變量90%以上的信息,從而達到簡化系統(tǒng)結(jié)構(gòu),抓住問題實質(zhì)的目的。因子分析基本原理:利用降維的思想,由研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā),把一些具有錯綜復(fù)雜關(guān)系的變量表示成少數(shù)的公共因子和僅對某一個變量有作用的特殊因子線性組合而成。就是要從數(shù)據(jù)中提取對變量起解釋作用的少數(shù)公共因子(因子分析是主成分的推廣,相對于主成分分析,更

11、傾向于描述原始變量之間的相關(guān)關(guān)系2.線性表示方向不同因子分析是把變量表示成各公因子的線性組合;而主成分分析中則是把主成分表示成各變量的線性組合。3.假設(shè)條件不同主成分分析:不需要有假設(shè)(assumptions,因子分析:需要一些假設(shè)。因子分析的假設(shè)包括:各個共同因子之間不相關(guān),特殊因子(specificfactor之間也不相關(guān),共同因子和特殊因子之間也不相關(guān)。4.求解方法不同求解主成分的方法:從協(xié)方差陣出發(fā)(協(xié)方差陣已知,從相關(guān)陣出發(fā)(相關(guān)陣R已知,采用的方法只有主成分法。(實際研究中,總體協(xié)方差陣與相關(guān)陣是未知的,必須通過樣本數(shù)據(jù)來估計注意事項:由協(xié)方差陣出發(fā)與由相關(guān)陣出發(fā)求解主成分所得結(jié)果

12、不一致時,要恰當?shù)倪x取某一種方法;一般當變量單位相同或者變量在同一數(shù)量等級的情況下,可以直接采用協(xié)方差陣進行計算;對于度量單位不同的指標或是取值范圍彼此差異非常大的指標,應(yīng)考慮將數(shù)據(jù)標準化,再由協(xié)方差陣求主成分;實際應(yīng)用中應(yīng)該盡可能的避免標準化,因為在標準化的過程中會抹殺一部分原本刻畫變量之間離散程度差異的信息。此外,最理想的情況是主成分分析前的變量之間相關(guān)性高,且變量之間不存在多重共線性問題(會出現(xiàn)最小特征根接近0的情況;求解因子載荷的方法:主成分法,主軸因子法,極大似然法,最小二乘法,a因子提取法。5.主成分和因子的變化不同主成分分析:當給定的協(xié)方差矩陣或者相關(guān)矩陣的特征值唯一時,主成分一

13、般是固定的獨特的;因子分析:因子不是固定的,可以旋轉(zhuǎn)得到不同的因子。6.因子數(shù)量與主成分的數(shù)量主成分分析:主成分的數(shù)量是一定的,一般有幾個變量就有幾個主成分(只是主成分所解釋的信息量不等,實際應(yīng)用時會根據(jù)碎石圖提取前幾個主要的主成分。因子分析:因子個數(shù)需要分析者指定(SPSS和sas根據(jù)一定的條件自動設(shè)定,只要是特征值大于1的因子主可進入分析,指定的因子數(shù)量不同而結(jié)果也不同;7.解釋重點不同:主成分分析:重點在于解釋個變量的總方差,因子分析:則把重點放在解釋各變量之間的協(xié)方差。8.算法上的不同:主成分分析:協(xié)方差矩陣的對角元素是變量的方差;因子分析:所采用的協(xié)方差矩陣的對角元素不在是變量的方差

14、,而是和變量對應(yīng)的共同度(變量方差中被各因子所解釋的部分9.優(yōu)點不同:因子分析:對于因子分析,可以使用旋轉(zhuǎn)技術(shù),使得因子更好的得到解釋,因此在解釋主成分方面因子分析更占優(yōu)勢;其次因子分析不是對原有變量的取舍,而是根據(jù)原始變量的信息進行重新組合,找出影響變量的共同因子,化簡數(shù)據(jù);主成分分析:第一:如果僅僅想把現(xiàn)有的變量變成少數(shù)幾個新的變量(新的變量幾乎帶有原來所有變量的信息來進入后續(xù)的分析,則可以使用主成分分析,不過一般情況下也可以使用因子分析;第二:通過計算綜合主成分函數(shù)得分,對客觀經(jīng)濟現(xiàn)象進行科學(xué)評價;第三:它在應(yīng)用上側(cè)重于信息貢獻影響力綜合評價。第四:應(yīng)用范圍廣,主成分分析不要求數(shù)據(jù)來自正態(tài)分布總體,其技術(shù)來源是矩陣運算的技術(shù)以及矩陣對角化和矩陣的譜分解技術(shù),因而凡是涉及多維度問題,都可以應(yīng)用主成分降維;10.應(yīng)用場景不同:主成分分析:可以用于系統(tǒng)運營狀態(tài)做出評估,一般是將多個指標綜合成一個變量,即將多維問題降維至一維,這樣才能方便排序評估;此外還可以應(yīng)用于經(jīng)濟效益、經(jīng)濟發(fā)展水平、經(jīng)濟發(fā)展競爭力、生活水平、生活質(zhì)量的評價研究上;主成分還可以用于和回歸分析相結(jié)合,進行主成分回歸分析,甚至可以利用主成分分析進行挑選變量,選擇少數(shù)變量再進行進一步的研究。一般情況下主成分用于探索性分析,很少單獨使用,用主成分來分析數(shù)據(jù),可以讓我們