數(shù)據(jù)統(tǒng)計(jì)分析初級(jí)統(tǒng)計(jì)及回歸分析顧世梁200809

1、12008.092 生物統(tǒng)計(jì)是關(guān)于試驗(yàn)的設(shè)計(jì)、實(shí)施，數(shù)據(jù)的收集、整理、分析和結(jié)果推論的科學(xué)。 從事試驗(yàn)研究，需要對(duì)處理（措施、技術(shù)）的效應(yīng)給出一個(gè)明確的結(jié)論（顯著與否）。 推論是先對(duì)研究對(duì)象的總體提出一種假設(shè)(hypothesis)，再對(duì)該假設(shè)進(jìn)行測(cè)驗(yàn)(test)以計(jì)算在假設(shè)總體中抽得實(shí)際樣本(統(tǒng)計(jì)數(shù))的概率來(lái)判斷。31.1 二項(xiàng)總體分布二項(xiàng)總體分布（0，1 分布） 若一個(gè)總體由0，1兩種元素組成，這樣的總體稱0，1總體。若取1的概率為p，記為P(1)=p，則P(0)=1-p=q，p+q=1.1 概率計(jì)算比較復(fù)雜，生物統(tǒng)計(jì)中所用的概率計(jì)算主要利用變數(shù)分布進(jìn)行。2(1)pppqp(1)pppq4

2、1.2 二項(xiàng)分布二項(xiàng)分布(binomial distribution) 二項(xiàng)分布是指在=p的二項(xiàng)總體中，以樣本容量n進(jìn)行抽樣，樣本總和數(shù) k (0kn)的概率分布。2npqnpnpq( )kkn knP kC p q2/pq np/pq n51.3 普松分布普松分布(poisson distribution) 若n很大，p很小，其np=m，二項(xiàng)概率分布趨于普松分布。( )!kmmP kek2mmm61.4 正態(tài)分布正態(tài)分布(normal distribution)若p接近0.5，n很大，二項(xiàng)概率分布趨于正態(tài)分布。2221()( )exp()22xf x2221( )exp()22xf x210

3、7正態(tài)分布是最重要的連續(xù)性變數(shù)的分布，原因有3：1、試驗(yàn)研究中很多變數(shù)(性狀)服從正態(tài)分布；2、一些間斷性變數(shù)在一定條件下趨于正態(tài)分布；3、一些變數(shù)本身不服從正態(tài)，但其統(tǒng)計(jì)數(shù)(如平均數(shù))在一定條件下(樣本容量增大時(shí))趨于正態(tài)分布。 這第3點(diǎn)是一個(gè)很重要的性質(zhì)，因?yàn)槲覀儗?lái)對(duì)處理效應(yīng)的推斷，往往是以平均數(shù)（或其它統(tǒng)計(jì)數(shù)）進(jìn)行的。在對(duì)樣本容量較大的統(tǒng)計(jì)數(shù)進(jìn)行統(tǒng)計(jì)推斷時(shí)，可不必考慮原變數(shù)服從何種分布，統(tǒng)計(jì)假設(shè)測(cè)驗(yàn)均可在正態(tài)分布的基礎(chǔ)上進(jìn)行。8 了解一個(gè)變數(shù)（或一個(gè)統(tǒng)計(jì)數(shù)）服從某種分布，其目標(biāo)是為了計(jì)算該變數(shù)（統(tǒng)計(jì)數(shù)）落在某一區(qū)間的概率。P(axb)=?()?Pab91.5 學(xué)生氏學(xué)生氏 t 分布分布

4、( t distribution)()(), xxxuu標(biāo)準(zhǔn)正態(tài)離差服從正態(tài)分布。(0,1)uN 上述u分布在實(shí)際應(yīng)用中存在問(wèn)題，最主要的是無(wú)法得到，人們自然想到用樣本標(biāo)準(zhǔn)差 s 代替 計(jì)算u值，進(jìn)而計(jì)算概率（假設(shè)測(cè)驗(yàn)）。但經(jīng)抽樣試驗(yàn)發(fā)現(xiàn)，這種替代是有問(wèn)題的，尤其是在小樣本情況下，s 的變異度較大（而是常量）。它直接的效果是由此算出的值比 u 的變異度大。后經(jīng)WS Gosset (1908)導(dǎo)出了該統(tǒng)計(jì)數(shù)（t）的概率密度函數(shù) f(t)。101221()2( )(1)(/ 2)tf t10( )xxe dx1100(| |)2( )tP ttf t dt12(0,1)uN222212nuuu2/

5、2 122/2()1()exp()2( /2)2f1.6 卡方分布卡方分布(2 distribution)22222()(1)xxns222221snv 132122sFs1.7 F分布分布( F distribution, RA Fisher, 1923)112121212/2/212()/21212()2( )(/2) (/2)()vFf FFv142 2.1 概念和基本步驟概念和基本步驟 我們?cè)谠囼?yàn)過(guò)程中獲得了一個(gè)或多個(gè)樣本(統(tǒng)計(jì)數(shù))，其目的在于推斷由此代表的總體（參數(shù)）。得出處理效應(yīng)存在與否的定性結(jié)論?；具^(guò)程有4步：1）對(duì)未知總體）對(duì)未知總體(參數(shù)參數(shù))提出假設(shè)提出假設(shè) H0:=0,

6、 HA: 0； H0: = 0, HA: 0 ；2）設(shè)定一個(gè)否定）設(shè)定一個(gè)否定H0假設(shè)的小概率標(biāo)準(zhǔn)（顯著水平）假設(shè)的小概率標(biāo)準(zhǔn)（顯著水平） （ =0.05， =0.01 ）；）；3）計(jì)算在假設(shè)條件下比實(shí)得樣本）計(jì)算在假設(shè)條件下比實(shí)得樣本(統(tǒng)計(jì)數(shù)統(tǒng)計(jì)數(shù))還偏的概率還偏的概率p。4）根據(jù)）根據(jù)p與與值的大小，接受或否定值的大小，接受或否定H0假設(shè)。假設(shè)。152.2 幾種常用的假設(shè)測(cè)驗(yàn)幾種常用的假設(shè)測(cè)驗(yàn)0u0ts1212: , , , , xxxdppps指的是該統(tǒng)計(jì)數(shù)的標(biāo)準(zhǔn)誤，亦即該統(tǒng)計(jì)數(shù)分布的標(biāo)準(zhǔn)差。16/xn121211xxnn122xxn121211x xssnn/xssn/ddssn121

7、2: : : xxxdppp00 pp qn121211()ppspqnnttest(x, m0)ttest2(x1, x1)17 2.3 假設(shè)測(cè)驗(yàn)的本質(zhì)假設(shè)測(cè)驗(yàn)的本質(zhì)1）顯著性000A| | H | | H ,Htttstt接受否定接受s的大小是決定統(tǒng)計(jì)數(shù)與假設(shè)參數(shù)間、統(tǒng)計(jì)數(shù)間差異顯著性的主要因素。試驗(yàn)研究中應(yīng)盡量減小統(tǒng)計(jì)數(shù)的標(biāo)準(zhǔn)誤。一是減小試驗(yàn)誤差（s）；二是增大樣本容量（n）。2）假設(shè)測(cè)驗(yàn)的錯(cuò)誤 利用概率進(jìn)行測(cè)驗(yàn)，有些情況下會(huì)犯錯(cuò)誤。當(dāng)正確的假設(shè)被否定時(shí)，就犯了棄真錯(cuò)誤（I型錯(cuò)誤, 錯(cuò)誤）；當(dāng)錯(cuò)誤的假設(shè)被接受時(shí)，就犯了取偽錯(cuò)誤（II型錯(cuò)誤, 錯(cuò)誤）。犯兩類錯(cuò)誤的概率不同。18 方差分析是

8、將多個(gè)樣本作為一個(gè)整體，將總變異分解成相應(yīng)變異來(lái)源的平方和和自由度，得到各變異來(lái)源方差的數(shù)量估計(jì)，用F測(cè)驗(yàn)鑒別樣本間的差異顯著性。分三個(gè)內(nèi)容：1）分解平方和自由度，計(jì)算各變異來(lái)源的方差；其中MSe(或se)比較重要，它是測(cè)驗(yàn)組間效應(yīng)存在與否的標(biāo)準(zhǔn)；2）F測(cè)驗(yàn), F=MSt/MSe；3）多重比較，當(dāng)F測(cè)驗(yàn)顯著，應(yīng)對(duì)處理平均數(shù)的差異顯著性作進(jìn)一步說(shuō)明。193.1 單向分組資料的方差分析單向分組資料的方差分析處理觀察值Tixi1x11x12x1jx1nT1x12x21x22x2jx2nT2x2ixi1xi2xijxinTixikxk1xk2xkjxknTkxkxij為第為第i個(gè)處理的第個(gè)處理的第j個(gè)

9、觀察值，個(gè)觀察值，i=1,2,k, j=1,2,n. Data structureijiijx20TteSSSSSSTtedfdfdf1Tdfkn22211()()knTijijxSSxxxkn2221()1()ktiiixSSnxxTnkn222111()2kneijiiijSSxxxT1tdfk(1)edfk n, teteteSSSSM SM SdfdfteM SFM S方差分析結(jié)果盡量以方差分析表表示。anova1(x)2|ijM SexxLSDtn213.2 兩向分組資料的方差分析兩向分組資料的方差分析xij為為A因素第因素第i個(gè)水平和個(gè)水平和B因素第因素第j個(gè)水平組合個(gè)水平組合(處

10、理處理)的反應(yīng)量，的反應(yīng)量，i=1,2,k； j=1,2,n. Data structureijijijx22TtReSSSSSSSSTtRed fd fd fd f1Tdfkn22211()()knTijijxSSxxxkn222.1()1()ktiiixSSnxxTnkneTtRSSSSSSSS1tdfk(1)(1)edfkn, teteteS SS SM SM Sd fd fteM SFM SAnova2(x)，或anova2(x,n)。2|ijM SexxLSDtn1Rdfn222.1()1()nRjjjxSSkxxTkkn233.3 系統(tǒng)分組資料的方差分析系統(tǒng)分組資料的方差分析xij

11、k為第為第i組、第組、第j亞組、第亞組、第k個(gè)反應(yīng)量，個(gè)反應(yīng)量，i=1, 2, , l； j=1,2,m；k=1, 2, , n. Data structureijiijijkxxijk24 較復(fù)雜的系統(tǒng)分組資料還可能在亞組中繼續(xù)再分成小亞組（小小亞組）；每一組具有不同的亞組數(shù)（mi不全相同），每一亞組具有不完全相同的觀察值數(shù)目（nij不全相同）。xijk為第為第i 組組,第第j亞組亞組,第第k個(gè)個(gè)(處理處理)的反應(yīng)量，的反應(yīng)量，i=1, 2, , l； j=1,2,mi；k=1, 2, , nij. Ttdedfdfdfdf111imlTijijdfn 1td fl1(1)imleijijd

12、fn 1(1)ldiidfm253.4 單因素完全隨機(jī)試驗(yàn)資料的分析單因素完全隨機(jī)試驗(yàn)資料的分析 即單向分組資料的方差分析。即單向分組資料的方差分析。3.5 單因素隨機(jī)區(qū)組試驗(yàn)資料的分析單因素隨機(jī)區(qū)組試驗(yàn)資料的分析 即兩向分組資料的方差分析。即兩向分組資料的方差分析。3.6 二因素隨機(jī)區(qū)組試驗(yàn)資料的分析二因素隨機(jī)區(qū)組試驗(yàn)資料的分析 A因素有因素有a個(gè)水平，個(gè)水平，B因素有因素有b個(gè)水平，均個(gè)水平，均衡搭配時(shí)有衡搭配時(shí)有ab個(gè)處理；個(gè)處理；r個(gè)重復(fù)（個(gè)重復(fù)（r個(gè)區(qū)個(gè)區(qū)組），組），abr個(gè)觀察值。方差分析分兩步：個(gè)觀察值。方差分析分兩步：26TtReSSSSSSSSTtRed fd fd fd f

13、1Tdfabr22211()()abrTijijxSSxxxabr22211()abtiiiTSSrxxTnabreTtRSSSSSSSS1tdfab(1)(1)edfabr1Rdfr22211()rRjjjTSSabxxTababr1）構(gòu)建處理區(qū)組兩向表，按處理區(qū)組兩向分組數(shù)據(jù)模型分解平方和、自由度： ijijijx272）構(gòu)建AB兩向表，按AB因素兩向分解平方和、自由度。tABABSSSSSSSStABABdfdfdfdf22211()aAAAkTSSbrxxTbrabrABtABSSSSSSSS1Adfa(1)(1)ABdfab1Bdfb22211()bBBBlTSSarxxTarabr

14、()iklklkl28 二因素、多因素完全隨機(jī)試驗(yàn)、隨機(jī)區(qū)組試驗(yàn)資料的方差分析均可用anovan的命令實(shí)現(xiàn)。 格式：anovan(x, group, model)*S SM Sd f*eM SFM S2|ijM SexxLSDtneeeSSMSdf29Anovan （多因素資料的方差分析）（多因素資料的方差分析）Anovan(x, group, model)三因素三因素 model=1 2 3 4 5 6 7(三因素方差分析編碼表三因素方差分析編碼表)數(shù)值數(shù)值含義含義1A(主效主效)2B(主效主效)3AB(互作互作)4C(主效主效)5AC(互作互作)6BC(互作互作)7ABC(互作互作)30四

15、因素方差分析編碼表四因素方差分析編碼表(model)313.7 一些處理效應(yīng)再分解的方差分析 1）單一自由度比較； 2）其他分解的一些實(shí)例。 Lsh.m; cg.m.3222222121211212()()()iiiTTTTSSn xxnnnn 如例8.1（水稻N肥試驗(yàn)），5個(gè)處理（ABCDE）具有SSt=301.2，dft=4，可將其進(jìn)一步分解：ABCD vs E df1=1, SS1=198.45；AB vs CD df2=1, SS2=72.25 A vs B df3=1, SS3=12.5； C vs D df4=1, SS4=18.0334.1 一元線性回歸分析一元線性回歸分析 對(duì)于

16、雙變數(shù)資料的回歸分析，主要有三項(xiàng)任務(wù)：1）建立 Y 依 X 的量化關(guān)系，即估計(jì)回歸統(tǒng)計(jì)數(shù)和回歸方程；2）估計(jì)離回歸誤差，對(duì)回歸方程和回歸統(tǒng)計(jì)數(shù)進(jìn)行統(tǒng)計(jì)假設(shè)測(cè)驗(yàn)；3）回歸方程的進(jìn)一步利用。34模型：iiiYXiiiiiYabXeYe據(jù)：2anbXYaXbXXY2211()()minnniiiiiiQRSSYYYabX222/()()()() /XaybxXYXY nXx YySPbXxSSXXn對(duì)Q分別對(duì)a、b求偏導(dǎo)并使其為0，得正規(guī)方程組：解得：2221()niiYiXYYaXbXYSPQYYSSSSSSbSP35iiiYabXe111YabXe222YabXennnYabXe11122211

17、.1.1iiinnnYXeYXeaYXebXYeiiiYabXe4.2 回歸分析的矩陣方法回歸分析的矩陣方法3612inYYYY Y1211. .1. .1inXXXXX12babb B12ineeee EY = XB+EY+E 回歸分析是用最小二乘法(least squares method)估計(jì)回歸統(tǒng)計(jì)數(shù)B=(a, b)，使離回歸平方和（Q, RSS）最?。?) ()minQE EYYYXB =37實(shí)例和matlab命令集clear; clcx=1.58, 9.98, 9.42, 1.25, .30, 2.41, 11.01, 1.85, 6.04, 5.92y=180, 28, 25,

18、117, 165, 175, 40, 160, 120, 80 x=x(:); y=y(:); n=size(y,1); SSy=var(y)*(n-1); SSx=var(x)*(n-1);xbar=mean(x); ybar=mean(y);X=ones(n,1),x; A=X*X; K=X*y; SumX=A(1,2); SumY=K(1); SumX2=A(2,2); SumXY=K(2);SP=SumXY-SumX*SumY/nC=inv(A), B=AK, B=C*K, B=X*XX*y, b=XyQ=y*y-B*K, U=SSy-Q, MSQ=Q/(n-2), syx=sqrt(

19、MSQ)F=U/MSQ; p=1-fcdf(F,1,n-2);disp(F=,num2str(F), p=,num2str(p)sa=syx*sqrt(C(1,1), sb=syx*sqrt(C(2,2)ta=b(1)/sa; pa=2*tcdf(-abs(ta),n-2);disp(ta=,num2str(ta), p=,num2str(pa)tb=b(2)/sb; pb=2*tcdf(-abs(tb),n-2);disp(tb=,num2str(tb), p=,num2str(pb)r=corr(x,y), r2=SP2/SSx/SSysr=sqrt(1-r2)/(n-2), tr=r/s

20、r384.3 多元線性回歸分析多元線性回歸分析1122iiijijmimiYXXXX11111211221222212121111mmjiiimiinnnmnnmaYeXXXbXXXYebXXXYeXXXYeb 1122iiijijmimiYa bXb Xb Xb Xe 1,2, ; 1,2,injm39jjjjjjbbbbtss/jbY Xjjssc2/(1)jpjjjjQUbcFMSQ nm2jjpjjbUc/(1)Y XQsnm2jjFt2,3,1jm 當(dāng)其中的自變數(shù)不顯著時(shí)，應(yīng)將其剔除。剔除的過(guò)程應(yīng)采用逐步回歸的方法，即每次剔除一個(gè)偏回歸平方和最小且不顯著的自變數(shù)，直至所有的自變數(shù)均顯

21、著（下同）。Up=b.*b./diag(C)40實(shí)例和matlab命令集clear;clc,alpha=.05;x1=10, 9, 10, 13, 10, 10, 8, 10, 10, 10, 10, 8, 6, 8, 9;x2=23, 20, 22, 21, 22, 23, 23, 24, 20, 21, 23, 21, 23, 21, 22;x3=3.6,3.6,3.7,3.7,3.6,3.5,3.3,3.4,3.4,3.4,3.9,3.5,3.2,3.7,3.6;x4=113, 106,111,109,110,103,100,114,104,110,104,109,114,113,105

22、;y=15.7,14.5,17.5,22.5,15.5,16.9,8.6,17,13.7,13.4,20.3,10.2,7.4,11.6,12.3;x=x1,x2,x3,x4;load regm %x=rand(100,40);y=rand(100,1);%data=xlsread(regm); y=data(:,end);data(:,end)=;x=data;data=;%data=load(regm.csv); y=data(:,end);data(:,end)=;x=data;data=;n,m=size(x);SSy=var(y)*(n-1);X=ones(n,1),x;A=X*X;

23、K=X*y;C=inv(A)b=AK,%b=C*K,b=X*XX*y,b=XyQ=y*y-b*K,U=SSy-Q,MSQ=Q/(n-m-1),syx=sqrt(MSQ)Fm=U/m/MSQ; p=1-fcdf(Fm,m,n-m-1);disp(Fm=,num2str(Fm), p=,num2str(p)Up=b.*b./diag(C);Up(1)=;F=Up/MSQ, pr=1-fcdf(F,1,n-m-1)41for i=1:m if i=alpha qi=find(F=min(F); pr=1-fcdf(min(F),1,n-m-1); if pr=alpha disp(num2str(q

24、i), ,num2str(min(F), del ,tr(qi,:) tr(qi,:)=; X(:,qi+1)=; m=m-1; end A=X*X; K=X*y; b=Xy; Q=y*y-b*K; MSQ=Q/(n-m-1); C=inv(A); Up=b.*b./diag(C);Up(1)=; F=Up/MSQ; pr=1-fcdf(F,1,n-m-1);end42disp(Last Results:)disp( Xi bi Upi Fi pFi)disp(X0 ,num2str(b(1)for i=1:m disp(tr(i,:), ,num2str(b(i+1), ,num2str(U

25、p(i), , num2str(F(i), ,num2str(pr(i)enddisp(Error ,num2str(n-m-1), ,num2str(Q), ,num2str(MSQ)disp(Total ,num2str(n-1), num2str(SSy)r2=(SSy-Q)/SSy43多元線性回歸分析的有關(guān)假定與注意事項(xiàng):假定1：誤差是正態(tài)分布的；假定2：每一自變數(shù)對(duì)依變數(shù)的作用僅為線性。 假定2不滿足對(duì)回歸結(jié)果影響較大。注意1：自變數(shù)個(gè)數(shù)(m)必須少于觀察值組數(shù)(n)；注意2：避免自變數(shù)共線性情形，共線性指變數(shù)間高度相關(guān)或一個(gè)變數(shù)是其他變數(shù)的線性組合。 若結(jié)構(gòu)陣不滿秩，信息陣是奇異或

26、病態(tài)的，逆陣不存在或有很大偏差，無(wú)法求解回歸系數(shù)或有很大誤差，難于對(duì)回歸模型及回歸統(tǒng)計(jì)數(shù)進(jìn)行客觀真實(shí)的假設(shè)測(cè)驗(yàn)?；貧w分析無(wú)法進(jìn)行，或所得結(jié)果不可信。444.4 一元線性相關(guān)分析一元線性相關(guān)分析計(jì)算X、Y相關(guān)性質(zhì)和程度的統(tǒng)計(jì)數(shù)相關(guān)系數(shù)r12211()()()()niiinnXYiiiiXx YySPrSS SSXxYy212rrrtsrn22XYSPrSS SS/UbQY XXMSbbtFsMSsSS454.5 多元線性相關(guān)分析多元線性相關(guān)分析 計(jì)算m個(gè)變數(shù)X（Y）的（簡(jiǎn)單）相關(guān)系數(shù)rij：12211()()()()nliiljjijlijnnXiXjliiljjllXxXxSPrSS SSXx

27、Xx12121212111mmijmmrrrrrrrR464.6 多元偏相關(guān)分析多元偏相關(guān)分析 m個(gè)變數(shù)X（Y）在其它變數(shù)皆固定在某一水平時(shí)，余下兩個(gè)變數(shù)間的相關(guān)稱為偏相關(guān)。.ijijiijjcrc cijcC1CR.2.1ijijijrijrrtsrnm474.7 通徑分析通徑分析 計(jì)算m個(gè)自變數(shù) Xj 與 Y 關(guān)系的相對(duì)重要性，可用直接通徑系數(shù)pj表示。jXjjYSSpbSS2(1)1jjjjpjjpptsRcnm-1P = R KCK121112122212111mYmYijmmmmYrrprrrprrrrpr21mj jYjRp r=PK484.8 一元多項(xiàng)式回歸分析一元多項(xiàng)式回歸分析

28、 計(jì)算1個(gè)自變數(shù) X與 Y 的多項(xiàng)式回歸也很常見(jiàn)。212jkiiijikiiYXXXX1,2, ; 1,2,injk212jkiiijikiiYab Xb Xb Xb Xe2111112122222221111kkkjiiiiiknnknnnXXXaYebXYeXXbYeXXXYebXXX 49jpjQUFMS21,1jjpjjbUc2jjFt1,2,1jkjjjjjjbbbbtss/1,1jbY Xjjssc/(1)Y XQsnmm為模型中Xj冪的項(xiàng)數(shù)。Up1, Up2, Up3, Up4 分別為線性(linear), 二次(Quadratic), 三次(cubic), 四次(4th degree)響應(yīng)(response).50一元多項(xiàng)式回歸分析的幾點(diǎn)注意：1) 隨著k的增加，回歸平方和增加，離