預(yù)測方法在數(shù)學(xué)建模中應(yīng)用-文檔資料

1、2歷屆CUMCM數(shù)據(jù)預(yù)測題目n2003年 A題 SARS的傳播問題n2005年 A題 長江水質(zhì)評價和預(yù)測問題n2006年 B題 艾滋病療法的評價及療效的 預(yù)測問題n2007年 A題中國人口增加預(yù)測問題n2009年 D題 “會議籌備”對與會人數(shù)的確定n2010 B題 上海世博會影響力 相關(guān)數(shù)據(jù)預(yù)測345678年份199019911992199319941995一季度4.776.387.4610.348.4810.39二季度6.168.066.3710.458.1510.48三季度5.049.648.469.549.4312.23四季度5.136.838.898.279.6710.98某市六年來汽

2、車貨運量（億噸公里）某市六年來汽車貨運量（億噸公里）9年份199019911992199319941995一季度4.776.387.4610.348.4810.39二季度6.168.066.3710.458.1510.48三季度5.049.648.469.549.4312.23四季度5.136.838.898.279.6710.98某市六年來汽車貨運量（億噸公里）某市六年來汽車貨運量（億噸公里）10024681012141645678910111112某市六年來汽車貨運量時間序列分解某市六年來汽車貨運量時間序列分解1314n時序圖檢驗 根據(jù)平穩(wěn)時間序列均值與方差為常數(shù)平穩(wěn)時間序列均值與方差為常

3、數(shù)的性質(zhì)，平穩(wěn)序列的時序圖應(yīng)該顯示出該序列始終在一個常數(shù)值附近隨機波動，而且波動的范圍有界、無明顯趨勢及周期特征n自相關(guān)圖檢驗 平穩(wěn)序列通常具有短期相關(guān)性平穩(wěn)序列通常具有短期相關(guān)性。該性質(zhì)用自相關(guān)系數(shù)來描述就是隨著延遲期數(shù)的增加，平穩(wěn)序列的自相關(guān)系數(shù)對很快地衰減向零。n純隨機性檢驗（白噪聲檢驗）平穩(wěn)性檢驗平穩(wěn)性檢驗15nAR(p)AR(p)模型模型nMA(q)MA(q)模型模型nARMAARMA（p p，q q）模型）模型 平穩(wěn)時間序列分析模型： ARMA模型的全稱是自回歸移動平均（auto regression moving average）模型，它是目前最常用的擬合平穩(wěn)時間序列的模型擬合平

4、穩(wěn)時間序列的模型。ARMA模型又可細分為AR模型、MA模型和ARMA模型三大類。tptptttxxxx22110qtqttttx2211qtqtttptpttttxxxx22112211016n確定性時間序列分析（確定性時間序列分析（平滑法平滑法、趨勢外推擬合法）趨勢外推擬合法） 通常這種非平穩(wěn)的時間序列顯示出非常明顯的規(guī)律性，比如有顯著的趨勢或有固定的變化周期 。n隨機性時間序列分析隨機性時間序列分析（ARIMA模型模型 ） 由隨機因素導(dǎo)致的的非平穩(wěn)時間序列，通常這種隨機波動非常難以確定和分析 。通過差分法或適當(dāng)?shù)淖儞Q通過差分法或適當(dāng)?shù)淖儞Q使非平穩(wěn)序列的化成為平穩(wěn)序列使非平穩(wěn)序列的化成為平穩(wěn)

5、序列 。 在實際情況中，絕大部分序列都是非平穩(wěn)的，因而對非平穩(wěn)序列的分析更普遍、更重要，相應(yīng)地各種分析方法也更多。通常包含下列兩種方法：n非平穩(wěn)序列分析法非平穩(wěn)序列分析法17ARIMA(Autoregressive Integrated Moving Average)模型模型，差分自回歸滑動平均模型（滑動也譯作移動），又稱求合自回歸滑動平均模型。ARIMA（p，d，q）中，AR是自回歸，p為自回歸項數(shù)；MA為滑動平均，q為滑動平均項數(shù)，d為使之成為平穩(wěn)序列所做為使之成為平穩(wěn)序列所做的差分次數(shù)（階數(shù)）的差分次數(shù)（階數(shù)）。 ARIMA（p，d，q）模型是ARMA（p，q）模型的擴展。 1819例：

6、建立國際航線旅客月度人數(shù)的例：建立國際航線旅客月度人數(shù)的ARIMA模型。我們已有一組模型。我們已有一組1949年至年至1961年國際航線旅客月度人數(shù)的年國際航線旅客月度人數(shù)的144條記錄。使用條記錄。使用ARIMA過程過程進行建模和預(yù)測。其數(shù)據(jù)列于下表所示。進行建模和預(yù)測。其數(shù)據(jù)列于下表所示。YEAR12345678910111219491121181321291211351481481361191041181950115126141135125149170170158133114140195114515017816317217819919918416214616619521711801931

7、811832182302422091911721941953196196236235229243264272237211180201195420418823522723426430229325922920322919552422332672692703153643473122742372781956284277317313318374413405355306271306195731530135634835542246546740434730533619583403183623483634354915054043593103371959360342406396420472548559463407

8、362405196041739141946147253562260640846139043220n（1）繪制時序圖）繪制時序圖21n（2）對平穩(wěn)性和季節(jié)性的識別）對平穩(wěn)性和季節(jié)性的識別對平穩(wěn)性和季節(jié)性的識別通常有時序圖和自相關(guān)圖兩種方法，或兩者結(jié)合起來一起判斷。l 時序圖，是通過直接觀察時間序列折線圖來檢驗序列是否平穩(wěn)。如果時間序列有某種趨勢或呈現(xiàn)出增加或減少范圍的擴散現(xiàn)象，則序列是不平穩(wěn)的。l 自相關(guān)圖。如果序列的折線圖并不明顯地呈現(xiàn)上述現(xiàn)象，而我們又無法直接判斷序列究竟平穩(wěn)與否，通常可以利用自相關(guān)圖自相關(guān)圖來檢測序列是否平穩(wěn)。2223n（3）變換不平穩(wěn)序列為平穩(wěn)序列）變換不平穩(wěn)序列為平穩(wěn)序

9、列l(wèi) 如果時間序列呈線性趨勢，均值不是常數(shù)，利用一階差分將產(chǎn)生一個平穩(wěn)序列。l 如果時間序列呈二次趨勢，均值不是常數(shù)，利用二階差分將產(chǎn)生一個平穩(wěn)序列。l 如果時間序列呈現(xiàn)出隨時間的上升或下降而偏差，方差不是常數(shù)，通?？衫萌∽匀粚?shù)轉(zhuǎn)化為平穩(wěn)序列。l 如果時間序列呈現(xiàn)指數(shù)趨勢，均值和方差都不是常數(shù)，通常也可利用取自然對數(shù)轉(zhuǎn)化為平穩(wěn)序列。l 如果時間序列呈現(xiàn)“相對環(huán)”趨勢，通常將數(shù)據(jù)除以同時發(fā)生的時間序列的相應(yīng)值轉(zhuǎn)化為平穩(wěn)序列。24a）取對數(shù)消除振幅變大趨勢-線性增長趨勢25b）需要對這個新序列數(shù)據(jù)再進行滯后一次（消除增長消除增長）和滯后12次（消除季節(jié)消除季節(jié)）共兩次差分最終轉(zhuǎn)換為平穩(wěn)序列 （

10、4）檢驗待選的時間序列模型的自相關(guān)函數(shù)檢驗待選的時間序列模型的自相關(guān)函數(shù)26ACF圖中，我們認為自相關(guān)系數(shù)在延遲圖中，我們認為自相關(guān)系數(shù)在延遲1階后都落入階后都落入2倍標準倍標準差內(nèi)，然后在延遲差內(nèi)，然后在延遲12階處突然有一個較大的自相關(guān)系數(shù)，階處突然有一個較大的自相關(guān)系數(shù)，緊接著又落入緊接著又落入2倍標準差內(nèi)，很象在倍標準差內(nèi)，很象在1，12處截尾處截尾 27n（5）估計備選時間序列模型的參數(shù)估計）估計備選時間序列模型的參數(shù)估計n（6）利用確定的模型進行預(yù)測）利用確定的模型進行預(yù)測28(7.4.1)yabx 2922(7.4.6)iiiiiiabQiiyyyexa bxye 總方差222i

11、iiiQiiaaabaaabab xyyxyx 30000(7.4.7)iiQyabxanabyxiinabyxiibyxiiaybxn令，即所以27.4.7 Qiibba byx將式代入得（）31 222iiiiiiiQybxxyibbybxbxbybxxyxxyxx 2002(7.4.8)iiiixyxxxxyybxxixxyybxxiSS令其，即所以321(7.4.9)xyxyxyxxyySrrs s33 34(7 .4 .2 )22(7 .4 .3 )nyyxxiiiibnxxiibyxiian nyiaxyixibi235年份年份 倒倒5年年 倒倒4年年 倒倒3年年 前年前年 去年去

12、年 今年今年 明年明年產(chǎn)量（萬元）產(chǎn)量（萬元） 300 350 380 430 500 ？ ？法法36年份年份倒倒5年年倒倒4年年大前年大前年前年前年去年去年 平均值平均值xi-2-10 1200 yi3003503804305001960392 xiyi-600-35004301000480Xi24101410 Yi29000012250014440018490025000079180037991.056.484480234801048023480196039279180010010480048022ryySxxSyyxSSSSrxyiiyyiixxiiixyyyxxxyxyyxx其中959

13、. 0r臨界值38xbayii)(584192392448392)(53614439234839248392392519604810480432萬元明年：萬元今年：其中yyxxbaynyaxyxbiiiiiiiii39213636. 01075. 52415.172xxy4001 122(7.4.11)kkyaa xa xa x01 122(7.4.10)iiikkiiyaa xa xa x41101212, , nknyayaYAya (0,)iN42112111222212(1)111kknnknnkxxxxxxXxxxYXA101212, , nknyayaYAya 43 令誤差平方和：

14、令誤差平方和： 由極小值條件由極小值條件 可得：可得：21()() ()minnTiiiQyyYXAYXA0QA1() ()(7.4.12)TTAX XX Y記記 系數(shù)矩陣（對稱）系數(shù)矩陣（對稱） 適于計算機實現(xiàn)適于計算機實現(xiàn)TRX X最小二乘法估計最小二乘法估計 是是A的無偏估計。的無偏估計。A11( )() ()() ()TTTTE AX XX YX XX XAA44212011221() ()niiiniiikkiiQyyyaa xa xa x01 1220101 122101 1222()02()02()0iiikkiiiiikkikiiiikkikQyaa xa xa xaQxyaa

15、 xa xa xaQxyaa xa xa xa 45011222011121211201122iikkiiiiiikikiiikikiikiikkikiinaaxaxaxyaxaxax xax xx yaxax xax xaxx y46221() ( )niiRSSyyk221() (1)niiiESSyynk221() (1)niiTSSRSSESSyyn472121()1()niiniiyyRSSESSrTSSTSSyy48492()11iiyyESSSnknk10% 15%Sy50( ,1)(1)RSS kFF k nkESS nk ( ,1)FF k nk511ESSnk(1)jjjj

16、attnkc1(, )TRX XCR5221221()niiiniiDW530022HLyySyyS上限：下限：0 y(,)LHyy法法5401 122 kkyaa xa xa x歸納：多元線性回歸分析預(yù)測法歸納：多元線性回歸分析預(yù)測法11() ()()()TTTTAX XX YRX YC X Y55Cobb-Douglas生產(chǎn)函數(shù)一般形式：( )( )( )( )Y tA t L t Ktn若A(t)在一定期內(nèi)近似為常數(shù)A，則ln ( )lnln ( )ln( )Y tAL tK t令 y=lnY，x1=lnL(t)，x2=lnK(t)，即得線性回歸模型。562012kkyaa xa xa

17、x212,kkxx xxxx令01 122kkyaa xa xa x57n1）對時序的統(tǒng)計數(shù)據(jù)，兩法均可進行預(yù)測。但用回歸法有一些缺點：回歸法對當(dāng)前和歷史數(shù)據(jù)是同等對待的，缺乏反映趨勢的靈活性。出現(xiàn)新數(shù)據(jù)點時，都要對回歸方程進行重新估計。n2）故對時序統(tǒng)計資料進行預(yù)測，大多不用回歸法，而用時序法。即使要用回歸法，也多采用簡化算法，否則太麻煩。n3）時序法不考慮事物變化原因，而是從最終結(jié)果去研究，并設(shè)事物會遵循過去的規(guī)律，當(dāng)前趨勢同樣適應(yīng)未來。事實上未來絕不是過去和現(xiàn)在的簡單重復(fù)。故時序法用于短期預(yù)測較準，用于長期預(yù)測時，除非發(fā)展非常穩(wěn)定，否則效果較差，特別是遇到發(fā)展轉(zhuǎn)折點時，時序法無能為力。時

18、序分析與回歸分析比較：58 n4）預(yù)測通常采用兩種以上方法進行對比和驗證：n時序法研究變化趨勢，回歸法研究因素間因果關(guān)系。n較長時間預(yù)測采用回歸法較準，短期預(yù)測可使用時序法，時序法需數(shù)據(jù)資料較少。n回歸法所需數(shù)據(jù)較多，通常要求占有的數(shù)據(jù)時間應(yīng)為預(yù)測時間的3倍以上。時序分析與回歸分析比較：59 灰色預(yù)測模型灰色預(yù)測模型（Gray Forecast Model）是通過是通過少量少量的、不完全的信息的、不完全的信息，建立數(shù)學(xué)模型并做出預(yù)測的一，建立數(shù)學(xué)模型并做出預(yù)測的一種預(yù)測方法種預(yù)測方法.當(dāng)我們應(yīng)用運籌學(xué)的思想方法解決實際當(dāng)我們應(yīng)用運籌學(xué)的思想方法解決實際問題，制定發(fā)展戰(zhàn)略和政策、進行重大問題的決

19、策問題，制定發(fā)展戰(zhàn)略和政策、進行重大問題的決策時，都必須對未來進行科學(xué)的預(yù)測時，都必須對未來進行科學(xué)的預(yù)測. 預(yù)測是根據(jù)客觀預(yù)測是根據(jù)客觀事物的過去和現(xiàn)在的發(fā)展規(guī)律，借助于科學(xué)的方法事物的過去和現(xiàn)在的發(fā)展規(guī)律，借助于科學(xué)的方法對其未來的發(fā)展趨勢和狀況進行描述和分析，并形對其未來的發(fā)展趨勢和狀況進行描述和分析，并形成科學(xué)的假設(shè)和判斷成科學(xué)的假設(shè)和判斷.四、四、 灰色預(yù)測模型灰色預(yù)測模型60n灰色系統(tǒng)理論是研究解決灰色系統(tǒng)分析、建模、預(yù)灰色系統(tǒng)理論是研究解決灰色系統(tǒng)分析、建模、預(yù)測、決策和控制的理論測、決策和控制的理論. .灰色預(yù)測是對灰色系統(tǒng)所做灰色預(yù)測是對灰色系統(tǒng)所做的預(yù)測的預(yù)測. .目前常用

20、的一些預(yù)測方法（如回歸分析等），目前常用的一些預(yù)測方法（如回歸分析等），需要較大的樣本需要較大的樣本. .若樣本較小，常造成較大誤差，使若樣本較小，常造成較大誤差，使預(yù)測目標失效預(yù)測目標失效. .灰色預(yù)測模型所需建模信息少，運算灰色預(yù)測模型所需建模信息少，運算方便，建模精度高，在各種預(yù)測領(lǐng)域都有著廣泛的方便，建模精度高，在各種預(yù)測領(lǐng)域都有著廣泛的應(yīng)用，是處理小樣本預(yù)測問題的有效工具應(yīng)用，是處理小樣本預(yù)測問題的有效工具. .四、四、 灰色預(yù)測模型灰色預(yù)測模型61 灰色系統(tǒng)理論是由灰色系統(tǒng)理論是由華中理工大學(xué)鄧聚龍教授華中理工大學(xué)鄧聚龍教授于于19821982年提出并加以發(fā)展的。二十幾年來，引起了

21、不年提出并加以發(fā)展的。二十幾年來，引起了不少國內(nèi)外學(xué)者的關(guān)注，得到了長足的發(fā)展。目前，少國內(nèi)外學(xué)者的關(guān)注，得到了長足的發(fā)展。目前，在我國已經(jīng)成為社會、經(jīng)濟、科學(xué)技術(shù)在等諸多領(lǐng)在我國已經(jīng)成為社會、經(jīng)濟、科學(xué)技術(shù)在等諸多領(lǐng)域進行預(yù)測、決策、評估、規(guī)劃控制、系統(tǒng)分析與域進行預(yù)測、決策、評估、規(guī)劃控制、系統(tǒng)分析與建模的重要方法之一。特別是它對時間序列短、統(tǒng)建模的重要方法之一。特別是它對時間序列短、統(tǒng)計數(shù)據(jù)少、信息不完全系統(tǒng)的分析與建模，具有獨計數(shù)據(jù)少、信息不完全系統(tǒng)的分析與建模，具有獨特的功效，因此得到了廣泛的應(yīng)用。在這里我們將特的功效，因此得到了廣泛的應(yīng)用。在這里我們將簡要地介紹灰色建模與預(yù)測的方法

22、。簡要地介紹灰色建模與預(yù)測的方法。四、四、 灰色預(yù)測模型灰色預(yù)測模型62灰色系統(tǒng)的定義灰色系統(tǒng)的定義 灰色系統(tǒng)是黑箱概念的一種推廣。我們把既含有已知信息又含有未知信息的系統(tǒng)稱為灰色系統(tǒng).作為兩個極端，我們將稱信息完全未確定的系統(tǒng)為黑色系統(tǒng)；稱信息完全確定的系統(tǒng)為白色系統(tǒng).區(qū)別白色系統(tǒng)與黑色系統(tǒng)的重要標志是系統(tǒng)各因素之間是否具有確定的關(guān)系。四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)的定義和特點灰色系統(tǒng)的定義和特點63灰色系統(tǒng)的特點灰色系統(tǒng)的特點（1）用灰色數(shù)學(xué)處理不確定量，使之量化.（2）充分利用已知信息尋求系統(tǒng)的運動規(guī)律.（3）灰色系統(tǒng)理論能處理貧信息系統(tǒng).四、灰色理論預(yù)測模型四、灰色

23、理論預(yù)測模型-灰色系統(tǒng)的定義和特點灰色系統(tǒng)的定義和特點64 通過下面的數(shù)據(jù)分析、處理過程，我們將了解通過下面的數(shù)據(jù)分析、處理過程，我們將了解到，有了一個時間數(shù)據(jù)序列后，如何建立一個基到，有了一個時間數(shù)據(jù)序列后，如何建立一個基于模型的灰色預(yù)測。于模型的灰色預(yù)測。1. 1. 數(shù)據(jù)的預(yù)處理數(shù)據(jù)的預(yù)處理 首先我們從一個簡單例子來考察問題首先我們從一個簡單例子來考察問題. . 【例】【例】 設(shè)原始數(shù)據(jù)序列設(shè)原始數(shù)據(jù)序列7,10, 8, 3, 6)(,),2(),1 ()0()0()0()0(Nxxxx四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型65(1)(0)(1)(0)(0)(1

24、)(0)(0)(0)(1)(0)(0)(0)(0)(1)(0)(0)(0)(0)(0)(1)(1)6(2)(1)(2)639(3)(1)(2)(3)63+817(4)(1)(2)(3)(4)63+8+1027(5)(1)(2)(3)(4)(5)63+8+10+7xxxxxxxxxxxxxxxxxxxx，34.對數(shù)據(jù)累加 于是得到一個新數(shù)據(jù)序列(1)6, 9,17, 27, 34x四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型66 歸納上面的式子可寫為歸納上面的式子可寫為 稱此式所表示的數(shù)據(jù)列為原始數(shù)據(jù)列的一次累加生成，簡稱稱此式所表示的數(shù)據(jù)列為原始數(shù)據(jù)列的一次累加生成，簡稱

25、為為一次累加生成一次累加生成. .顯然有顯然有 (1)(0)(1)(1).xx(1)(0)1( )1, 2,ijxixjiN（ ） 將上述例子中的 (0)(1)xx，分別做成圖7.1、圖7.2可見圖7.1上的曲線有明顯的擺動，圖7.2呈現(xiàn)逐漸遞增的形式，說明原始數(shù)據(jù)的起伏已顯著弱化.可以設(shè)想用一條指數(shù)曲線乃至一條直線來逼近累加生成數(shù)列 (1).x四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型67圖7.2 圖7.1為了把累加數(shù)據(jù)列還原為原始數(shù)列，需進行后減運算或稱相減生成，它是指后前兩個數(shù)據(jù)之差，如上例中四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型68)

26、()1()()()0()1()1()1(ixixixix(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(5)(5)(4)34277(4)(4)(3)27 1710(3)(3)(2)1798(2)(2)(1)963(1)(1)(0)606.xxxxxxxxxxxxxxx，歸納上面的式子得到如下結(jié)果：一次后減其中(0)1,2,.,(0)0.iNx，四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型69建模原理建模原理給定觀測數(shù)據(jù)列給定觀測數(shù)據(jù)列n經(jīng)一次累加得經(jīng)一次累加得(1)(1)dxaxudt+=)(,),2(),1 ()0()0()0

27、()0(Nxxxx)(,),2(),1 ()1()1()1()1(Nxxxx設(shè) 滿足一階常微分方程(1)x（7.1） （7.2） （7.3） 四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型70 其中是其中是a a，u u常數(shù)，常數(shù)，a a稱為發(fā)展灰數(shù)；稱為發(fā)展灰數(shù)；u u稱為內(nèi)生稱為內(nèi)生控制灰數(shù)，是對系統(tǒng)的常定輸入控制灰數(shù)，是對系統(tǒng)的常定輸入. .此方程滿足初始此方程滿足初始條件條件(1)(1)00()ttxxt當(dāng)時的解為0()(1)(1)0( )().a ttuuxtxteaa(7.3) 對等間隔取樣的離散值 (注意到 ）則為 01t (1)(1)(1)(1).akuux

28、kxeaa(7.4) 灰色建模的途徑是一次累加序列（7.2）通過最小二乘法來估計常數(shù)a與u. 四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型71) 1 ()1(x(1)(1)(1)(2),(3),.,()xxxN, 1) 1(ttt(1)(1)(1)(1)(0)(2)(2)(2)(1)(2),xxxxxt (1)(1)(0)(0)(3)()(3),.,().xxNxxNtt(0)(1)(0)(1)(0)(1)(2)(2),(3)(3),. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .( )( ).xaxu

29、xaxuxNaxNu+=+=+= 因 留作初值用，故將 用差分代替微分，又因等間隔取樣， 分別代入方程(7.3),故得 類似地有于是，由式（7.3）有 四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型72)()1(iax(0)(1)(0)(1)(0)(1)(2)(2),1(3)(3),1()(),1axxuaxxuaxNxNu tx)1()1(x)()1 (ix)()(ixi由于 涉及到累加列 的兩個時刻的值，因此， 取前后兩個時刻的平均代替更為合理，即將 替換為 把 項移到右邊，并寫成向量的數(shù)量積形式 (7.5) 四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系

30、統(tǒng)模型73將（7.5）寫為矩陣表達式(0)(0)(0)T(2),(3),() .yxxxN(1)(1)(0)12(1)(1)(0)12(1)(1)(0)12(2)(1)1(2)(3)(2)1(3).1()(1)1()xxxaxxxuxNxNxN 令這里，T表示轉(zhuǎn)置.令( )( )1( )(1),(2,3,.,).2iixixiiN(7.6) 四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型74(1)(1)12(1)(1)12(1)(1)12(2)(1)1(3)(2)1,()(1) 1xxaxxUuxNxN 則(7.6)式的矩陣形式為BUy 方程組(7.6)的最小二乘估計為 y

31、BBBuaUTT1)(7.6)(7.7)四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型75把估計值 au與代入（7.4）式得時間響應(yīng)方程 (1)(1)(1)(1)akuuxkxeaa1,2,1kN當(dāng)時，由(7.8)式算得的 ) 1()1(kx是擬合值； kN當(dāng)時，) 1()1(kx為預(yù)報值.這是相對于一次累加序列 )1(x的擬合值，用后減運算還原， 1,2,1kN當(dāng)時，就可得原始序列 )0(x的擬合值 (0)(1)xk ；kN當(dāng)時，可得原始序列 )0(x預(yù)報值.(7.8)四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型76精度檢驗精度檢驗 (1)(1)殘差

32、檢驗：分別計算殘差檢驗：分別計算四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型77n（3 3）預(yù)測精度等級對照表，見表）預(yù)測精度等級對照表，見表7.1.7.1. 四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型78n由于模型是基于一階常微分方程（由于模型是基于一階常微分方程（7.37.3）建立的，）建立的，故稱為一階一元灰色模型，記為故稱為一階一元灰色模型，記為GM(1,1).GM(1,1).須指出須指出的是，的是， 建模時先要作一次累加，因此要求原始數(shù)建模時先要作一次累加，因此要求原始數(shù)據(jù)均為非負數(shù)據(jù)均為非負數(shù). .否則，累加時會正負抵消，達不到否則，累

33、加時會正負抵消，達不到使數(shù)據(jù)序列隨時間遞增的目的使數(shù)據(jù)序列隨時間遞增的目的. .如果實際問題的原如果實際問題的原始數(shù)據(jù)列出現(xiàn)負數(shù)，可對原始數(shù)據(jù)列進行始數(shù)據(jù)列出現(xiàn)負數(shù)，可對原始數(shù)據(jù)列進行“數(shù)據(jù)數(shù)據(jù)整體提升整體提升”處理處理. .n注意到一階常微分方程是導(dǎo)出注意到一階常微分方程是導(dǎo)出GM(1,1)GM(1,1)模型的橋梁，模型的橋梁，在我們應(yīng)用在我們應(yīng)用GM(1,1)GM(1,1)模型于實際問題預(yù)測時，不必模型于實際問題預(yù)測時，不必求解一階常微分方程（求解一階常微分方程（7.37.3）. . 四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型79 GM(1,1) GM(1,1)的建

34、模步驟 綜上所述，綜上所述，GM(1,1)GM(1,1)的建模步驟如下：的建模步驟如下：四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型-灰色系統(tǒng)模型灰色系統(tǒng)模型80 【例】 某公司19992003年逐年的銷售額.試用建立預(yù)測模型，預(yù)測2004年的銷售額，要求作精度檢驗。四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析年份年份1999199920002000200120012002200220032003 序號序號1 12 23 34 45 5 銷售額2.8742.8743.2783.2783.3373.3373.3903.3903.6793.67981 解（解（1 1）由原始數(shù)據(jù)列計算一次累

35、加序列）由原始數(shù)據(jù)列計算一次累加序列 ，結(jié)果見表結(jié)果見表7.3.7.3. 表表7.3 7.3 一次累加數(shù)據(jù)一次累加數(shù)據(jù))1(x)0(x)1(x年份年份1999199920002000200120012002200220032003序號序號1 12 23 34 45 52.8742.8743.2783.2783.3373.3373.3903.3903.6793.6792.8742.8746.1526.1529.4899.48912.87912.87916.55816.558四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析82（2 2）建立矩陣：）建立矩陣：yB,(1)(1)12(1)(1

36、)12(1)(1)12(1)(1)124.5131(2)(1)17.82051(3)(2) 111.1841(4)(3) 114.71851(5)(4) 1xxxxBxxxx(0)(0)(0)(0)TT(2),(3),(4),(5)3. 278,3. 337,3. 390,3. 679yxxxx=四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析83四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析84四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析85四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析86四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析87【

37、例【例3 3】某市某市20042004年年1-61-6月的交通事故次數(shù)統(tǒng)計見表月的交通事故次數(shù)統(tǒng)計見表7.5.7.5.試建試建立灰色預(yù)測模型立灰色預(yù)測模型. . 表表7.5 7.5 交通事故次數(shù)統(tǒng)計交通事故次數(shù)統(tǒng)計【例【例4 4】某市某市2001200520012005年火災(zāi)的統(tǒng)計數(shù)據(jù)見表年火災(zāi)的統(tǒng)計數(shù)據(jù)見表7.7. 7.7. 試建立試建立模型，并對該市模型，并對該市20062006年的火災(zāi)發(fā)生狀況做出預(yù)測。年的火災(zāi)發(fā)生狀況做出預(yù)測。 表表7.7 7.7 某市某市2001200120052005年火災(zāi)數(shù)據(jù)年火災(zāi)數(shù)據(jù)四、灰色理論預(yù)測模型四、灰色理論預(yù)測模型案例分析案例分析年份年份20012001

38、20022002200320032004200420052005 火災(zāi)火災(zāi)( (起起) )8787979712012016616616116188 以馮以馮諾依曼型計算機為中心的信息處理技術(shù)的高速諾依曼型計算機為中心的信息處理技術(shù)的高速發(fā)展，使得計算機在當(dāng)今的信息化社會中起著十分重要發(fā)展，使得計算機在當(dāng)今的信息化社會中起著十分重要的作用。但是，當(dāng)用它來解決某些人工智能問題時卻遇的作用。但是，當(dāng)用它來解決某些人工智能問題時卻遇到了很大的困難。到了很大的困難。 例如，一個人可以很容易地識別他人的臉孔，但計例如，一個人可以很容易地識別他人的臉孔，但計算機則很難做到這一點。算機則很難做到這一點。 大腦

39、是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。法。 人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實際神經(jīng)網(wǎng)絡(luò)的模擬人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實際神經(jīng)網(wǎng)絡(luò)的模擬背景知識背景知識四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-背景知識背景知識89 人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡稱，簡稱ANN）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是）是對人類大

40、腦系統(tǒng)的一種仿真，簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。機程序來模擬，是人工智能研究的一種方法。 實際上它是由大量的、功能比較簡單的形式神經(jīng)元實際上它是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識并存貯在網(wǎng)絡(luò)內(nèi)

41、，可以解決計算機不易處理的難題，特并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計算機不易處理的難題，特別是別是語音和圖像的識別、理解、知識的處理、組合優(yōu)化語音和圖像的識別、理解、知識的處理、組合優(yōu)化計算和智能控制等計算和智能控制等一系列本質(zhì)上是非計算的問題。一系列本質(zhì)上是非計算的問題。 什么是人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法背景知識背景知識90 1943年年,美國心理學(xué)家美國心理學(xué)家W.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.Pitts在提出了一個簡單的神經(jīng)元模型，即在提出了一個簡單的神經(jīng)元模型，即MP模型。模型。1958年，年，F(xiàn).Rosenblatt等研制出了等研制出了感知機感

42、知機(Perceptron）。幾個發(fā)展階段幾個發(fā)展階段q 第一次熱潮第一次熱潮(40-60年代未年代未) 1982年，美國物理學(xué)家年，美國物理學(xué)家J.J.Hopfield提出提出Hopfield模模型型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運算的動態(tài)過程法是一種反復(fù)運算的動態(tài)過程,這是符號邏輯處理方法所這是符號邏輯處理方法所不具備的性質(zhì)不具備的性質(zhì). 1987年首屆國際年首屆國際ANN大會在圣地亞哥召大會在圣地亞哥召開，國際開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。國際刊物。1990年年12月，北

43、京召開首屆學(xué)術(shù)會議。月，北京召開首屆學(xué)術(shù)會議。q 低潮低潮(70-80年代初年代初)q 第二次熱潮第二次熱潮四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-背景知識背景知識91生物神經(jīng)元模型生物神經(jīng)元模型四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-背景知識背景知識92 生物神經(jīng)元模型就是一個簡單的信號處理器。生物神經(jīng)元模型就是一個簡單的信號處理器。樹突樹突是神經(jīng)元的信號輸入通道，接受來自其他神經(jīng)元的信息。是神經(jīng)元的信號輸入通道，接受來自其他神經(jīng)元的信息。軸突是神經(jīng)元的信號輸出通道。軸突是神經(jīng)元的信號輸出通道。 信息的處理與傳遞主要發(fā)生在信息的處理與傳遞主要發(fā)生在突觸突觸附近。神經(jīng)元細附近。神經(jīng)元細胞體通過樹突

44、接受脈沖信號，通過胞體通過樹突接受脈沖信號，通過軸突軸突傳到傳到突觸前膜突觸前膜。當(dāng)當(dāng)脈沖脈沖幅度達到一定強度，即超過其閾值電位后，突觸幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)( (乙酰膽堿乙酰膽堿) )，使位于突觸后膜的離子通道使位于突觸后膜的離子通道(Ion Channel)(Ion Channel)開放，產(chǎn)生開放，產(chǎn)生離離子流子流，從而在突觸后膜產(chǎn)生正的或負的電位，稱為，從而在突觸后膜產(chǎn)生正的或負的電位，稱為突觸突觸后電位后電位。生物神經(jīng)元模型的運行機理生物神經(jīng)元模型的運行機理四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測

45、法-背景知識背景知識93 突觸有兩種：突觸有兩種：興奮性突觸興奮性突觸和和抑制性突觸抑制性突觸。前者產(chǎn)生。前者產(chǎn)生正突觸后電位正突觸后電位，后者產(chǎn)生，后者產(chǎn)生負突觸后電位負突觸后電位。一個神經(jīng)元的。一個神經(jīng)元的各樹突和細胞體往往通過突觸和大量的其他神經(jīng)元相連各樹突和細胞體往往通過突觸和大量的其他神經(jīng)元相連接。這些突觸后電位的變化，將對該神經(jīng)元產(chǎn)生綜合作接。這些突觸后電位的變化，將對該神經(jīng)元產(chǎn)生綜合作用，即當(dāng)這些突觸后電位的總和超過某一閻值時，該神用，即當(dāng)這些突觸后電位的總和超過某一閻值時，該神經(jīng)元便被激活，并經(jīng)元便被激活，并產(chǎn)生脈沖產(chǎn)生脈沖，而且產(chǎn)生的脈沖數(shù)與該電，而且產(chǎn)生的脈沖數(shù)與該電位總和

46、值的大小有關(guān)。脈沖沿軸突向其他神經(jīng)元傳送，位總和值的大小有關(guān)。脈沖沿軸突向其他神經(jīng)元傳送，從而實現(xiàn)了神經(jīng)元之間信息的傳遞。從而實現(xiàn)了神經(jīng)元之間信息的傳遞。 四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-背景知識背景知識94 連接權(quán)：連接權(quán)： 求和單元：求和單元： 激勵函數(shù)（響應(yīng)函數(shù)）激勵函數(shù)（響應(yīng)函數(shù)） ： i1niiivx()1x2xnx12nu()y1niiiux 人工神經(jīng)元模型的三要素人工神經(jīng)元模型的三要素四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型95 模型中模型中 為輸入信號， 為輸出信號，為輸出信號， 為神經(jīng)元的閾值。該模型的數(shù)學(xué)表達式為：為神經(jīng)元的閾值。該模型的數(shù)學(xué)

47、表達式為：12,nx xxy( )yv1niiivx1niiiux人工神經(jīng)元模型的數(shù)學(xué)表達一人工神經(jīng)元模型的數(shù)學(xué)表達一四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型96( )yv1niiivx01x 1x2xnx12nu()y00 x0 人工神經(jīng)元模型的數(shù)學(xué)表達二人工神經(jīng)元模型的數(shù)學(xué)表達二四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型97 閾值函數(shù)：閾值函數(shù)： 分段線性函數(shù)：分段線性函數(shù)： sigmoid函數(shù)：函數(shù)：10( )00vvv111( )(1)11201vvvvv 1( )1exp()vv( )tanh()vv 激勵函數(shù)的形式激勵函數(shù)的形式四、

48、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型98 前饋型網(wǎng)絡(luò)：前饋型網(wǎng)絡(luò)： 反饋型網(wǎng)絡(luò)：反饋型網(wǎng)絡(luò)：1x2xnx1y2yny輸輸入入層層隱隱層層輸輸出出層層1x2x1nxnx1y2y1nyny 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型99 學(xué)習(xí)期：學(xué)習(xí)期： 各計算單元狀態(tài)不變，各連接線上權(quán)值通過學(xué)習(xí)來修改各計算單元狀態(tài)不變，各連接線上權(quán)值通過學(xué)習(xí)來修改 工作期：工作期： 連接權(quán)固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀態(tài)連接權(quán)固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀態(tài)工作方式工作方式四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人

49、工神經(jīng)元模型100 有教師學(xué)習(xí)：有教師學(xué)習(xí)： 外界存在一個教師，對給定的一組輸入，提供應(yīng)有的外界存在一個教師，對給定的一組輸入，提供應(yīng)有的輸出（標準答案），學(xué)習(xí)系統(tǒng)可根據(jù)實際輸出與標準答輸出（標準答案），學(xué)習(xí)系統(tǒng)可根據(jù)實際輸出與標準答案之間的差值來調(diào)整系統(tǒng)參數(shù)案之間的差值來調(diào)整系統(tǒng)參數(shù)學(xué)學(xué) 習(xí)習(xí)系系 統(tǒng)統(tǒng)教師教師環(huán)境環(huán)境輸入輸入應(yīng)有應(yīng)有響應(yīng)響應(yīng) +誤差信號誤差信號實際響應(yīng)實際響應(yīng) 1. 學(xué)習(xí)方式學(xué)習(xí)方式四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型101 無教師學(xué)習(xí)：無教師學(xué)習(xí)： 學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計規(guī)律來調(diào)節(jié)自學(xué)習(xí)系統(tǒng)按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計規(guī)律來調(diào)節(jié)自身

50、參數(shù)身參數(shù)環(huán)境環(huán)境學(xué)學(xué) 習(xí)習(xí)系系 統(tǒng)統(tǒng)動動作作輸出輸出輸入輸入狀態(tài)狀態(tài)環(huán)境環(huán)境學(xué)習(xí)系統(tǒng)學(xué)習(xí)系統(tǒng)輸入輸入 強化學(xué)習(xí)：強化學(xué)習(xí)： 環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息（獎或懲），系環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息（獎或懲），系統(tǒng)通過強化受獎動作來改善自身性能統(tǒng)通過強化受獎動作來改善自身性能四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型102 考察神經(jīng)元考察神經(jīng)元 k 在在 n 時刻的輸入和輸出時刻的輸入和輸出 輸入：輸入： 實際輸出：實際輸出： 應(yīng)有輸出：應(yīng)有輸出： 由誤差信號構(gòu)造能量函數(shù)：由誤差信號構(gòu)造能量函數(shù)： 其中其中E(.)為求期望算子為求期望算子 求解最優(yōu)化問題：求解最優(yōu)

51、化問題： 得出系統(tǒng)參數(shù)：得出系統(tǒng)參數(shù)：( )kx n( )( )( )( )( )kkkkkynendnyndn誤差信號：21( )( )2kkJEen21( )( )2kkJEenmin 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型103 通常情況下用時刻通常情況下用時刻 n 的瞬時值的瞬時值 代替代替J，即求解最優(yōu)化問題即求解最優(yōu)化問題由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可由數(shù)值迭代算法（如最速下降法、模擬退火算法等），可得得其中其中 為學(xué)習(xí)步長為學(xué)習(xí)步長21( )( )2nkkJen21( )( )2nkkJenmin)()(nxnejk

52、kj四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型104 神經(jīng)學(xué)家神經(jīng)學(xué)家Hebb提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神提出的學(xué)習(xí)規(guī)則：當(dāng)某一連接兩端的神經(jīng)元同步激活（或同為抑制）時，該連接的強度應(yīng)增強，經(jīng)元同步激活（或同為抑制）時，該連接的強度應(yīng)增強，反之應(yīng)減弱，數(shù)學(xué)描述如下：反之應(yīng)減弱，數(shù)學(xué)描述如下： 其中其中 分別為分別為 兩端神經(jīng)元的狀態(tài)兩端神經(jīng)元的狀態(tài)最常用的一種情況是：最常用的一種情況是：( ),( )kjh n h nij)(),(nhnhFjkkj)()(nhnhjkkjHebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-人工神經(jīng)元模型人工神經(jīng)元模型1

53、05 對于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了對于多層網(wǎng)絡(luò)，由于有隱層后學(xué)習(xí)比較困難，限制了多層網(wǎng)絡(luò)的發(fā)展，多層網(wǎng)絡(luò)的發(fā)展，BP算法的出現(xiàn)解決了這一困難。算法的出現(xiàn)解決了這一困難。BP算法（向后傳播算法）算法（向后傳播算法）四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-BP算法算法1x2xnx1y2yny輸輸入入層層隱隱層層輸輸出出層層106 對于多層前饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號在流通，對于多層前饋型網(wǎng)絡(luò)，網(wǎng)絡(luò)中有兩種信號在流通，（1）工作信號，施加的輸入信號向前傳播直到在輸出層產(chǎn)）工作信號，施加的輸入信號向前傳播直到在輸出層產(chǎn)生實際的輸出信號，是輸入信號和權(quán)值的函數(shù)生實際的輸出信號，是輸入信號

54、和權(quán)值的函數(shù) （2）誤差信號，網(wǎng)絡(luò)實際輸出與應(yīng)有輸出間的差值，它由）誤差信號，網(wǎng)絡(luò)實際輸出與應(yīng)有輸出間的差值，它由輸出層開始逐層向后傳播輸出層開始逐層向后傳播BP算法的原理算法的原理下面推導(dǎo)用于多層前饋型網(wǎng)絡(luò)學(xué)習(xí)的下面推導(dǎo)用于多層前饋型網(wǎng)絡(luò)學(xué)習(xí)的BP算法算法 四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-BP算法算法107下面就逐個樣本學(xué)習(xí)的情況來推導(dǎo)下面就逐個樣本學(xué)習(xí)的情況來推導(dǎo)BP算法算法如右圖，令單元如右圖，令單元 j 的凈輸入為的凈輸入為則則求求 對對 的梯度的梯度 該單元的誤差信號為該單元的誤差信號為 ，定義單元，定義單元 j 的平的平方誤差為方誤差為 ，則輸出層總的平方誤差的瞬時值為，則輸

55、出層總的平方誤差的瞬時值為: 設(shè)在第設(shè)在第 n 次迭代中某一層的第次迭代中某一層的第 j 個單元的輸出為個單元的輸出為)(nyj)()()(nyndnejjjjjnen)(21)(2)(212nej)(nyi( )jv n()j( )jy n( )jdn( )je n( )jin( )( )( )jjiiiv nn y n( )( )jjjy nv n( )njiq 當(dāng)當(dāng) j 單元所在層為輸出層時單元所在層為輸出層時四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-BP算法算法108其中其中 稱為稱為局部梯度局部梯度權(quán)值權(quán)值 的修正量為的修正量為( )( )( )( )( )( )( )( )( )jjj

56、jijjjjie ny nv nnne ny nv nn( ) ( 1)( )( )jjjie nv ny n ( )( )( )jjjie nv n y n ji( )( )( )( )( )( )( )( )( )jjjjjjjjje ny nnne nv ne ny nv n )()()()(nynnnijjiji)(nyi( )jv n()j( )jy n( )kdn( )ke n( )jin( )kjn( )kv n( )kyn)(kq 當(dāng)當(dāng) j 單元所在層為隱層時單元所在層為隱層時109權(quán)值權(quán)值 的修正量為的修正量為ji( )( )( )kkkkne nv n( )( )( )(

57、)jjjkkjknv nnn nynnnijjiji其中其中四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-BP算法算法1101x2xnx1y2ymy輸入層隱層輸出層1k 構(gòu)造多層前向神經(jīng)網(wǎng)絡(luò)構(gòu)造多層前向神經(jīng)網(wǎng)絡(luò)四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-BP網(wǎng)絡(luò)網(wǎng)絡(luò)matlab實現(xiàn)實現(xiàn)111net = newff ( A, B, C, trainfun )q Matlab命令命令A(yù)是一個是一個 n 2的矩陣，第的矩陣，第 i 行元素為輸入信號行元素為輸入信號 x i 的的最最小值和最大值小值和最大值；q 參數(shù)說明參數(shù)說明B為一為一 k 維行向量，其元素為各維行向量，其元素為各隱層節(jié)點數(shù)隱層節(jié)點數(shù)；train

58、fun為學(xué)習(xí)規(guī)則采用的為學(xué)習(xí)規(guī)則采用的訓(xùn)練函數(shù)訓(xùn)練函數(shù)（常見訓(xùn)練函數(shù)如下（常見訓(xùn)練函數(shù)如下表）。表）。C為一為一k 維字符串行向量，每一分量為對應(yīng)層神經(jīng)元的維字符串行向量，每一分量為對應(yīng)層神經(jīng)元的激激勵函數(shù)勵函數(shù)；112函數(shù)名函數(shù)名功能功能函數(shù)名函數(shù)名traingd梯度下降法梯度下降法traincgftraingdm勢能修正法勢能修正法traincgptraingdx自調(diào)整學(xué)習(xí)效率法自調(diào)整學(xué)習(xí)效率法traincgbtrainrp恢復(fù)恢復(fù)BP法法trainscgFR共軛梯度法共軛梯度法trainbfgBFGS擬牛頓法擬牛頓法PR共軛梯度法共軛梯度法trainoss一步共軛一步共軛 + 擬牛頓擬牛

59、頓PB共軛梯度法共軛梯度法trainlmLM法法標量共軛梯度法標量共軛梯度法trainbrBayesian規(guī)范法規(guī)范法常見訓(xùn)練函數(shù)常見訓(xùn)練函數(shù)四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-BP網(wǎng)絡(luò)網(wǎng)絡(luò)matlab實現(xiàn)實現(xiàn)113MATLAB中激勵函數(shù)為中激勵函數(shù)為1log( )1xsig xetan( )xxxxeesig xee( )purelin xx其字符串分別為：其字符串分別為：logsig，tansig，purelin激勵函數(shù)激勵函數(shù)四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)測法-BP網(wǎng)絡(luò)網(wǎng)絡(luò)matlab實現(xiàn)實現(xiàn)114 除了需要輸入除了需要輸入A,B,C,trainfun外，還有些默認的參數(shù)可外，還有些

60、默認的參數(shù)可修改，如下表修改，如下表可修改參數(shù)可修改參數(shù)參數(shù)名參數(shù)名功能功能缺省值缺省值net.trainParam.goal目標函數(shù)設(shè)定值目標函數(shù)設(shè)定值0net.trainParam.epochs最大迭代次數(shù)最大迭代次數(shù)100net.trainParam.show顯示中間結(jié)果的周期顯示中間結(jié)果的周期25net.trainParam.lr整批學(xué)習(xí)的學(xué)習(xí)效率整批學(xué)習(xí)的學(xué)習(xí)效率0.01net.trainParam.mc勢能學(xué)習(xí)規(guī)則勢能學(xué)習(xí)規(guī)則traingdm的的勢能率勢能率0.9注：不同版本注：不同版本Matlab的可修改參數(shù)列表可能不同。的可修改參數(shù)列表可能不同。四、神經(jīng)網(wǎng)絡(luò)預(yù)測法四、神經(jīng)網(wǎng)絡(luò)預(yù)