




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、第五章第五章 類神經(jīng)網(wǎng)絡(luò)1什么是類神經(jīng)網(wǎng)絡(luò)類神經(jīng)網(wǎng)絡(luò)(neural network,nn)類似人類神經(jīng)結(jié)構(gòu),是“一種基于腦與神經(jīng)系統(tǒng)研究,所啟發(fā)的信息處理技術(shù)”。它具有人腦功能基本特性:學(xué)習(xí)、記憶和歸納。神經(jīng)網(wǎng)絡(luò)中的幾個(gè)術(shù)語:樹突(dendrites):神經(jīng)元中負(fù)責(zé)把神經(jīng)脈沖傳遞至細(xì)胞體的神經(jīng)纖維。神經(jīng)核(soma):神經(jīng)元的中央處理部位。軸突(axon):神經(jīng)元中負(fù)責(zé)把神經(jīng)脈沖從細(xì)胞體往外傳遞的神經(jīng)纖維。突觸(synapse):神經(jīng)元之間的連結(jié)機(jī)制。232021-11-13類神經(jīng)網(wǎng)絡(luò),類似人類神經(jīng)元結(jié)構(gòu)。神經(jīng)元的主要功能是接受刺激和傳遞信息。神經(jīng)元通過傳入神經(jīng)接受來自體內(nèi)外環(huán)境變化的刺激信息
2、,并對(duì)這些信息加以分析、綜合和儲(chǔ)存,再經(jīng)過傳出神經(jīng)把指令傳到所支配的器官和組織,產(chǎn)生調(diào)節(jié)和控制效應(yīng)。42021-11-13yvj5類神經(jīng)網(wǎng)絡(luò)和回歸分析不同,沒有任何假設(shè)的概率分布,是模式識(shí)別和誤差最小化的過程,在每一次經(jīng)驗(yàn)中提取和學(xué)習(xí)信息。類神經(jīng)網(wǎng)絡(luò)可以處理連續(xù)型和類別型的數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)。神經(jīng)網(wǎng)絡(luò)是有監(jiān)督學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)的特點(diǎn):二、類神經(jīng)網(wǎng)絡(luò)的架構(gòu)類神經(jīng)網(wǎng)絡(luò)主要結(jié)構(gòu)是由神經(jīng)元(neuron)、層(layer)和網(wǎng)絡(luò)(network)三個(gè)部份所組成。整個(gè)類神經(jīng)網(wǎng)絡(luò)包含一系列基本的神經(jīng)元,通過權(quán)重(weight)相互連接。這些單元以層的方式組織,每一層的每個(gè)神經(jīng)元和前一層、后一層的神經(jīng)元連接。
3、6后向傳播神經(jīng)網(wǎng)絡(luò)后向傳播神經(jīng)網(wǎng)絡(luò)輸入層輸入層隱藏層隱藏層(可多層可多層)輸出層輸出層(決策層決策層)7神經(jīng)元什么是后向傳播?后向傳播是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)的學(xué)習(xí)算法。這個(gè)神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層。這種學(xué)習(xí)算法下的神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元,其中每個(gè)連接都與一個(gè)權(quán)相連。它的學(xué)習(xí)規(guī)則是使用最速下降法,按照誤差糾正規(guī)則反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小,從而使得能夠預(yù)測(cè)輸入樣本的正確類標(biāo)號(hào)。前向傳播:在前向傳播過程中,神經(jīng)網(wǎng)絡(luò)中的所有突觸的權(quán)重都是固定不變的。8不同的信息流向?qū)е虏煌愋偷木W(wǎng)絡(luò),可區(qū)分為”前饋神經(jīng)網(wǎng)絡(luò)”(feed forw
4、ard neural network)和”反饋式神經(jīng)網(wǎng)絡(luò)”(feedback neural network)。9什么是前饋神經(jīng)網(wǎng)絡(luò):前饋神經(jīng)網(wǎng)絡(luò)是指信息只朝一個(gè)方向流動(dòng),也就是數(shù)據(jù)在神經(jīng)元之間的流動(dòng)方向是單向的,沒有循環(huán)。這種網(wǎng)絡(luò)而在分類過程中數(shù)據(jù)只能向前傳送,直到到達(dá)輸出層,層間沒有向后的反饋信號(hào),因此被稱為前饋網(wǎng)絡(luò)。后向傳播是在多層前饋神經(jīng)網(wǎng)絡(luò)上學(xué)習(xí)的。10反饋式神經(jīng)網(wǎng)絡(luò)是指數(shù)據(jù)在神經(jīng)元之間的流動(dòng)方向是雙向關(guān)系,神經(jīng)元會(huì)輸出到其他所有的神經(jīng)元,也會(huì)接收其他神經(jīng)元的輸出成為輸入。11什么是反饋式神經(jīng)網(wǎng)絡(luò)?什么是自組織網(wǎng)絡(luò) ( som ,self-organizing neural netwo
5、rks )自組織神經(jīng)網(wǎng)絡(luò)是一種無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)。它通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性,自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。1213類神經(jīng)網(wǎng)絡(luò)的分為輸入層、輸出層和隱藏層,三層連結(jié)形成一個(gè)神經(jīng)網(wǎng)絡(luò)。輸入層只從外部環(huán)境接收信息,該層的每個(gè)神經(jīng)元相當(dāng)于自變量,不完成任何計(jì)算,只為下一層傳遞信息。輸出層生成最終結(jié)果,為網(wǎng)絡(luò)送給外部系統(tǒng)的結(jié)果值。什么是層?14隱藏層介于輸入層和輸出層之間,這些層完全用于分析,其函數(shù)聯(lián)系輸入層變量和輸出層變量,使其更擬合(fit)資料。隱藏層的功能主要是增加類神經(jīng)網(wǎng)絡(luò)的復(fù)雜性,以能夠模擬復(fù)雜的非線性關(guān)系。隱藏層的多少要適當(dāng),過多容易過度擬合。一層加權(quán)神經(jīng)元的網(wǎng)絡(luò)稱單層感
6、知器,多層加權(quán)神經(jīng)元的網(wǎng)絡(luò)稱多層感知器(multi-layer perceptrons)。一個(gè)一個(gè)輸出輸出元的元的兩層兩層神經(jīng)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)15神經(jīng)網(wǎng)絡(luò)的形式:神經(jīng)網(wǎng)絡(luò)的形式:16一一個(gè)輸個(gè)輸出元出元的三的三層神層神經(jīng)網(wǎng)經(jīng)網(wǎng)絡(luò)絡(luò)多個(gè)輸出元的三層神經(jīng)網(wǎng)絡(luò)多個(gè)輸出元的三層神經(jīng)網(wǎng)絡(luò)17三、神經(jīng)元的結(jié)構(gòu)18一個(gè)神經(jīng)元 j,有閾值,從上一層連接的神經(jīng)元得到n個(gè)輸入變量x,每個(gè)輸入變量附加一個(gè)鏈接權(quán)重w。輸入變量將依照不同權(quán)重加以合并(一般是加權(quán)總和),鏈接成組合函數(shù)(combination function),組合函數(shù)的值稱為電位(potential);然后,啟動(dòng)(轉(zhuǎn)換、激活、賦活)函數(shù)(activati
7、on function)將電位轉(zhuǎn)換成輸出信號(hào)。j1njijijiiw on表示變量的個(gè)數(shù)oi表示第i個(gè)輸入值(x)wij表示第j個(gè)神經(jīng)元的第i個(gè)輸入值的權(quán)重:o1o2onw1jw2jwnjojijf(ij)ixix19 是第j個(gè)神經(jīng)元的偏置(偏差):偏差有增大或者減小激活函數(shù)的凈輸入的作用,取決于該偏差是負(fù)值還是正值。 表示第j個(gè)神經(jīng)元的輸入值(組合函數(shù))。f()是神經(jīng)元的啟動(dòng)(激活或賦活)函數(shù)oj=f(ij)是第j個(gè)神經(jīng)元的輸出值(y)。jji四、啟動(dòng)函數(shù)f()類型 201、線性啟動(dòng)函數(shù):?jiǎn)?dòng)函數(shù)就是負(fù)責(zé)將神經(jīng)元接受的輸入脈沖總和,轉(zhuǎn)換成輸出脈沖,但是人類神經(jīng)在處理外部刺激時(shí),輸出信號(hào)是有極
8、限的,否則可能會(huì)因?yàn)檩敵鲂盘?hào)過強(qiáng)而造成對(duì)神經(jīng)元的傷害。因此,類神經(jīng)網(wǎng)絡(luò)在選取啟動(dòng)函數(shù)時(shí),不能夠使用傳統(tǒng)的線性函數(shù),通常來說會(huì)選擇兼具正向收斂與負(fù)向收斂的函數(shù)。jjfii211,1 1,00,0jjjif ii 1,01,0jjjif ii ,0,0jjjif ii0, 12.階梯(step)啟動(dòng)函數(shù)的一般形式:階梯啟動(dòng)函數(shù)又稱閾值(threshold)啟動(dòng)函數(shù)。當(dāng) 時(shí),得到當(dāng) 時(shí),得到對(duì)稱階梯函數(shù)。即:對(duì)稱階梯函數(shù)+1-10階梯函數(shù)1223.sigmoid(或稱s型)啟動(dòng)函數(shù)sigmoid啟動(dòng)函數(shù)輸出值界于-1和1,或是0和1之間,是單調(diào)遞增函數(shù),函數(shù)型數(shù)有許多種,最常用的是logistic函
9、數(shù)。式中是正常數(shù)(一般為零),sigmoid啟動(dòng)函數(shù)是最常用啟動(dòng)函數(shù),非線性函數(shù),但是易于微分和了解。2311jjifie+1s 函數(shù)0244、分段線性啟動(dòng)函數(shù)25 1,1,010,0jjjjjif iiii分段線性函數(shù)+10262jivjfieji5、高斯啟動(dòng)函數(shù)鐘型曲線(bell-shaped curve),輸出值在0和1之間,其中, 是均值,v是函數(shù)事先定義的方差。五、類神經(jīng)網(wǎng)絡(luò)的訓(xùn)練27類神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)前,必須建立出一個(gè)訓(xùn)練樣本(training pattern)使類神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過程中有一個(gè)參考,訓(xùn)練樣本的建立來自于實(shí)際系統(tǒng)輸入與輸出或是以往的經(jīng)驗(yàn)。例如:洗衣機(jī)洗凈衣服的時(shí)間,與衣服
10、的質(zhì)料、數(shù)量、骯臟的程度有關(guān),因此我們必須先針對(duì)不同質(zhì)料、數(shù)量、骯臟的程度的衣服統(tǒng)計(jì)出洗衣所需的時(shí)間,建立訓(xùn)練樣本。不同衣服的質(zhì)料、數(shù)量、骯臟程度就是類神經(jīng)網(wǎng)絡(luò)的輸入,而洗衣所需的時(shí)間則為類神經(jīng)網(wǎng)絡(luò)的目標(biāo)值(target),也就是類神經(jīng)網(wǎng)絡(luò)的參考輸出。28神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)就是不斷調(diào)整權(quán)重的過程。訓(xùn)練之前,必須將數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集,將權(quán)重指定給第一層的神經(jīng)元。大多數(shù)軟件包使用向后傳播方法(back propagation),任何一種后向傳播算法的最重要部分都是使用誤差度量來調(diào)整權(quán)重。 后向傳播神經(jīng)網(wǎng)絡(luò)通過更新權(quán)重和偏置使得網(wǎng)絡(luò)預(yù)測(cè)的誤差達(dá)到最小。具體步驟如下:通過輸入節(jié)點(diǎn)將輸入變量加以
11、標(biāo)準(zhǔn)化,標(biāo)準(zhǔn)化后的變量數(shù)值落在0和1之間,或者是-1和1之間。將網(wǎng)絡(luò)權(quán)重初始值設(shè)定為0(或隨機(jī)產(chǎn)生)。通過各節(jié)點(diǎn)的函數(shù),估計(jì)數(shù)據(jù)的目標(biāo)變量值。29六、權(quán)重和偏置的調(diào)整比較實(shí)際值和估計(jì)值之間的誤差,并根據(jù)誤差值重新調(diào)整各權(quán)重和偏置。重新執(zhí)行第二步驟,反復(fù)執(zhí)行,一直到實(shí)際值和估計(jì)值之間的誤差值最小,此時(shí)才停止學(xué)習(xí),此時(shí)獲得最佳權(quán)重。3031舉例說明權(quán)重和偏置的調(diào)整過程1、首先利用隨機(jī)的方式,產(chǎn)生各神經(jīng)元間的權(quán)重,以及隱藏層與輸出層神經(jīng)元的偏置。32w w1414w w1515w w2424w w2525w w3434w w3535w w4646w w56560.2--0.50.2
12、-0.3-0.2456-2、根據(jù)輸入信號(hào),計(jì)算各隱藏層神經(jīng)元的輸出信號(hào),假設(shè)輸入的樣本是(x1,x2,x3,y)=(1,0,1,1)。神經(jīng)元4:神經(jīng)元5:334441*0.20*0.4 1*( 0.5)0.40.7iiiiw o 總輸入信號(hào):440.711=0.3321+1+ioee轉(zhuǎn)換輸出信號(hào):5551*( 0.3)0*0.1 1*iiiiw o總輸入信號(hào):550.111=0.5251+1+ioee轉(zhuǎn)換輸出信號(hào):jijijiiw o總輸入信號(hào):1=1+jjioe轉(zhuǎn)換輸出信號(hào):3、根據(jù)隱藏層輸出信號(hào),計(jì)算輸入層神經(jīng)元的輸出信號(hào)。神經(jīng)元634566640.33
13、2*( 0.3)0.525*( 0.2)0.10.105iiiiw o 總輸入信號(hào):660.10511=0.4741+1+ioee轉(zhuǎn)換輸出信號(hào):4、此時(shí),輸出值0.474與真值1不一致,我們可以計(jì)算神經(jīng)元6的誤差項(xiàng)。神經(jīng)元6的誤差項(xiàng):5、將此誤差項(xiàng)反饋至隱藏層,此時(shí)可以計(jì)算隱藏層神經(jīng)元誤差值。神經(jīng)元4誤差項(xiàng):神經(jīng)元5誤差項(xiàng):3566666=(1)()0.474(1 0.474)(1 0.474)0.1311errorooto4444=(1)0.332(1 0.332)*0.1311*( 0.3)0.0087iiierrorooerrorw5555=(1)0.525(1 0.525)*0.131
14、1*( 0.2)0.0065kkkerrorooerror w=(1)()jjjjjkerrorootoerror=(1)jjjkjkkerrorooerror w6、最后根據(jù)神經(jīng)元誤差項(xiàng),更新各神經(jīng)元的權(quán)重以及偏置,假設(shè)學(xué)習(xí)速率為0.9。36*14*15*24*25*34*35*460.20.9(0.0087)*10.2080.30.9(0.0065)*10.2940.40.9(0.0087)*00.40.1 0.9(0.0065)*0(0.0087)*10.4920.20.9(0.0065)*10.2060.30.9(0.1311)*0.3320.339wwwwwww *
15、56*4*5*60.20.9(0.1311)*0.5250.1380.40.9(0.0087)0.3920.20.9(0.0065)0.2060.1 0.9(0.1311)0.218w *ijjiijijijjjjjjwerror owwwerror學(xué)習(xí)速率:通常是介于01之間,當(dāng)其數(shù)值越大,每次權(quán)數(shù)的修正量就越大。不能太小或太大。經(jīng)驗(yàn)設(shè)置為1/t,t為迭代次數(shù)。目前調(diào)整權(quán)重的方法是一種最陡坡降法。如此,即達(dá)成一個(gè)學(xué)習(xí)循環(huán)的類神經(jīng)網(wǎng)絡(luò)權(quán)重修正,接下來持續(xù)此步驟,使得輸出值越來越接近真值,從而達(dá)到建立模型的目的。另外,根據(jù)理論當(dāng)學(xué)習(xí)時(shí)間無限長時(shí),誤差應(yīng)該會(huì)無限接近于零。但事實(shí)上,如果當(dāng)模型訓(xùn)練越久,就有可能出現(xiàn)過度擬合的問題,因此一般有兩種方法來處理:設(shè)定閥值。使用測(cè)試樣本。一般,測(cè)試組誤差一開始會(huì)隨著上述誤差的減小而減小,但當(dāng)過度擬合現(xiàn)象發(fā)生時(shí),測(cè)試組的誤差會(huì)開始從小到大變化。37七、類神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)類神經(jīng)網(wǎng)絡(luò)可以建構(gòu)非線性的模型,模型的準(zhǔn)確度高。類神經(jīng)網(wǎng)絡(luò)有良好的推廣性,對(duì)于未知的輸入亦可得到正確的輸出。類神經(jīng)網(wǎng)絡(luò)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 幼兒園科學(xué)活動(dòng)常規(guī)
- 廣西南寧市二模數(shù)學(xué)試卷
- 廣東省中專數(shù)學(xué)試卷
- 醫(yī)院誠信宣傳課件
- 中國錐面由任行業(yè)市場(chǎng)發(fā)展前景及發(fā)展趨勢(shì)與投資戰(zhàn)略研究報(bào)告(2024-2030)
- 設(shè)計(jì)院社會(huì)實(shí)踐報(bào)告(共10)
- 掌上音頻工作站項(xiàng)目投資可行性研究分析報(bào)告(2024-2030版)
- 2025年中國電卡表行業(yè)市場(chǎng)發(fā)展現(xiàn)狀及投資戰(zhàn)略咨詢報(bào)告
- 湖北眼科醫(yī)療設(shè)備項(xiàng)目可行性研究報(bào)告模板范本
- 2025年7月浙江高中學(xué)業(yè)水平考試數(shù)學(xué)試卷真題(含答案詳解)
- 典必殊幻燈片打印稿課件
- 煙臺(tái)大學(xué)法學(xué)院《822法學(xué)綜合二》歷年考研真題匯編
- 安徽省工傷職停工留薪分類目錄
- 永遠(yuǎn)的ph燈具課件
- 完整版小升初幼升小學(xué)生個(gè)人簡(jiǎn)歷模板
- 2022年度訴訟服務(wù)大廳裝修改造項(xiàng)目績(jī)效評(píng)價(jià)報(bào)告(最終稿)
- 變電運(yùn)維專業(yè)題庫試題(二)
- 醫(yī)院項(xiàng)目EPC示范標(biāo)桿打造交流匯報(bào)
- 體育設(shè)備采購?fù)稑?biāo)方案
- 大學(xué)生暑期安全教育班會(huì)PPT
- 2022年萊蕪技師學(xué)院工作人員招聘考試真題
評(píng)論
0/150
提交評(píng)論