神經(jīng)網(wǎng)絡(luò)模型

模擬實(shí)際神經(jīng)絡(luò)的數(shù)學(xué)方法神經(jīng)網(wǎng)絡(luò)模型01介紹解剖機(jī)理結(jié)構(gòu)信息處理目錄03020405數(shù)學(xué)模型發(fā)展歷史基本特征應(yīng)用目錄070608基本信息模擬人類(lèi)實(shí)際神經(jīng)絡(luò)的數(shù)學(xué)方法問(wèn)世以來(lái)，人們已慢慢習(xí)慣了把這種人工神經(jīng)絡(luò)直接稱(chēng)為神經(jīng)絡(luò)。神經(jīng)絡(luò)在系統(tǒng)辨識(shí)、模式識(shí)別、智能控制等領(lǐng)域有著廣泛而吸引人的前景，特別在智能控制中，人們對(duì)神經(jīng)絡(luò)的自學(xué)習(xí)功能尤其感興趣，并且把神經(jīng)絡(luò)這一重要特點(diǎn)看作是解決自動(dòng)控制中控制器適應(yīng)能力這個(gè)難題的關(guān)鍵鑰匙之一。介紹神經(jīng)絡(luò)的學(xué)習(xí)機(jī)理和機(jī)構(gòu)學(xué)習(xí)是神經(jīng)絡(luò)一種最重要也最令人注目的特點(diǎn)。在神經(jīng)絡(luò)的發(fā)展進(jìn)程中,學(xué)習(xí)算法的研究有著十分重要的地位。目前,人們所提出的神經(jīng)絡(luò)模型都是和學(xué)習(xí)算法相應(yīng)的。所以,有時(shí)人們并不去祈求對(duì)模型和算法進(jìn)行嚴(yán)格的定義或區(qū)分。有的模型可以有多種算法。而有的算法可能可用于多種模型。在神經(jīng)絡(luò)中,對(duì)外部環(huán)境提供的模式樣本進(jìn)行學(xué)習(xí)訓(xùn)練,并能存儲(chǔ)這種模式,則稱(chēng)為感知器;對(duì)外部環(huán)境有適應(yīng)能力,能自動(dòng)提取外部環(huán)境變化特征,則稱(chēng)為認(rèn)知器。神經(jīng)絡(luò)在學(xué)習(xí)中,一般分為有教師和無(wú)教師學(xué)習(xí)兩種。感知器采用有教師信號(hào)進(jìn)行學(xué)習(xí),而認(rèn)知器則采用無(wú)教師信號(hào)學(xué)習(xí)的。在主要神經(jīng)絡(luò)如Bp絡(luò),Hopfield絡(luò),ART絡(luò)和Kohonen絡(luò)中;Bp絡(luò)和Hopfield絡(luò)是需要教師信號(hào)才能進(jìn)行學(xué)習(xí)的;而ART絡(luò)和Khonone絡(luò)則無(wú)需教師信號(hào)就可以學(xué)習(xí)49。所謂教師信號(hào),就是在神經(jīng)絡(luò)學(xué)習(xí)中由外部提供的模式樣本信號(hào)。

機(jī)理結(jié)構(gòu)機(jī)理結(jié)構(gòu)神經(jīng)絡(luò)的基本組成單元是神經(jīng)元，在數(shù)學(xué)上的神經(jīng)元模型是和在生物學(xué)上的神經(jīng)細(xì)胞對(duì)應(yīng)的。或者說(shuō)，人工神經(jīng)絡(luò)理論是用神經(jīng)元這種抽象的數(shù)學(xué)模型來(lái)描述客觀世界的生物細(xì)胞的。很明顯，生物的神經(jīng)細(xì)胞是神經(jīng)絡(luò)理論誕生和形成的物質(zhì)基礎(chǔ)和源泉。這樣，神經(jīng)元的數(shù)學(xué)描述就必須以生物神經(jīng)細(xì)胞的客觀行為特性為依據(jù)。因此，了解生物神經(jīng)細(xì)胞的行為特性就是一件十分重要而必須的事了。神經(jīng)絡(luò)的拓樸結(jié)構(gòu)也是以生物學(xué)解剖中神經(jīng)細(xì)胞互連的方式為依據(jù)的。對(duì)神經(jīng)細(xì)胞相互作用情況的揭露也是十分重要的。神經(jīng)元是神經(jīng)絡(luò)基本元素。只有了解神經(jīng)元才能認(rèn)識(shí)神經(jīng)絡(luò)的本質(zhì)。在這一節(jié)介紹神經(jīng)元的生物學(xué)解剖，信息的處理與傳遞方式，工作功能以及其數(shù)學(xué)模型。解剖細(xì)胞體軸突樹(shù)突解剖細(xì)胞體細(xì)胞體是由很多分子形成的綜合體，內(nèi)部含有一個(gè)細(xì)胞核、核糖體、原生質(zhì)狀結(jié)構(gòu)等，它是神經(jīng)元活動(dòng)的能量供應(yīng)地，在這里進(jìn)行新陳代謝等各種生化過(guò)程。神經(jīng)元也即是整個(gè)細(xì)胞，整個(gè)細(xì)胞的最外層稱(chēng)為細(xì)胞膜。樹(shù)突細(xì)胞體的伸延部分產(chǎn)生的分枝稱(chēng)為樹(shù)突，樹(shù)突是接受從其它神經(jīng)元傳入的信息的入口。軸突細(xì)胞體突起的最長(zhǎng)的外伸管狀纖維稱(chēng)為軸突。軸突最長(zhǎng)可達(dá)1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。突觸是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相并進(jìn)行信息傳送的結(jié)構(gòu)。如圖1—2所示。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一·個(gè)神經(jīng)元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間，間隙一般為200—300Å。突觸后成分可以是細(xì)胞體，樹(shù)突或軸突。突觸的存在說(shuō)明：兩個(gè)神經(jīng)元的細(xì)胞質(zhì)并不直接連通，兩者彼此是通過(guò)突觸這種結(jié)構(gòu)接口的。有時(shí)．也把突觸看作是神經(jīng)元之間的連接。目前，根據(jù)神經(jīng)生理學(xué)研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其間的突觸起碼有4種不同行為。神經(jīng)元4種生物行為有：(1)能處于抑制或興奮狀態(tài)；(2)能產(chǎn)生爆發(fā)和平臺(tái)兩種情況；(3)能產(chǎn)生抑制后的反沖；(4)具有適應(yīng)性。信息處理興奮與抑制信息傳遞特性信息綜合特性D/A、A/D特性信息處理興奮與抑制人工神經(jīng)絡(luò)對(duì)神經(jīng)元的興奮與抑制進(jìn)行模擬，故而首先應(yīng)了解神經(jīng)元的興奮與抑制狀態(tài)。一個(gè)神經(jīng)元的興奮和抑制兩種狀態(tài)是由細(xì)胞膜內(nèi)外之間不同的電位差來(lái)表征的。在抑制狀態(tài)，細(xì)胞膜內(nèi)外之間有內(nèi)負(fù)外正的電位差，這個(gè)電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負(fù)的相反電位差，這時(shí)表現(xiàn)為約60—100mv的電脈沖。細(xì)胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細(xì)胞的興奮電脈沖寬度一般大約為1ms。神經(jīng)元的興奮過(guò)程電位變化如圖1—3所示。圖1-3.神經(jīng)元的興奮過(guò)程電位變化信息傳遞特性對(duì)神經(jīng)細(xì)胞的研究結(jié)果表明：神經(jīng)元的電脈沖幾乎可以不衰減地沿著軸突傳送到其它神經(jīng)元去。由神經(jīng)元傳出的電脈沖信號(hào)通過(guò)軸突，首先到達(dá)軸突末梢，這時(shí)則使其中的囊泡產(chǎn)生變化從而釋放神經(jīng)遞質(zhì)，這種神經(jīng)遞質(zhì)通過(guò)突觸的間隙而進(jìn)入到另一個(gè)神經(jīng)元的樹(shù)突中。樹(shù)突上的受體能夠接受神經(jīng)遞質(zhì)從而去改變膜向離子的通透性．使膜外內(nèi)離子濃度差產(chǎn)生變化；進(jìn)而使電位產(chǎn)生變化。顯然，信息就從一個(gè)神經(jīng)元傳送到另一個(gè)神經(jīng)元中。當(dāng)神經(jīng)元接受來(lái)自其它神經(jīng)元的信息時(shí)，膜電位在開(kāi)始時(shí)是按時(shí)間連續(xù)漸漸變化的。當(dāng)膜電位變化經(jīng)超出一個(gè)定值時(shí)，才產(chǎn)生突變上升的脈沖，這個(gè)脈沖接著沿軸突進(jìn)行傳遞。神經(jīng)元這種膜電位高達(dá)一定閥值才產(chǎn)生脈沖傳送的特性稱(chēng)閥值特性。這種閥值特性從圖1—3中也可以看出。神經(jīng)元的信息傳遞除了有閥值特性之外，還有兩個(gè)特點(diǎn)。一個(gè)是單向性傳遞，即只能從前一級(jí)神經(jīng)元的軸突末梢傳向后一級(jí)神經(jīng)元的樹(shù)突或細(xì)胞體，不能反之。另一個(gè)是延時(shí)性傳遞．信息通過(guò)突觸傳遞，通常會(huì)產(chǎn)生0.5-1ms的延時(shí)。信息綜合特性神經(jīng)元對(duì)來(lái)自其它神經(jīng)元的信息有時(shí)空綜合特性。在神經(jīng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達(dá)同一個(gè)神經(jīng)元的樹(shù)突并形成大量突觸。來(lái)源不同的突觸所釋放的神經(jīng)遞質(zhì)都可以對(duì)同一個(gè)神經(jīng)元的膜電位變化產(chǎn)生作用。因此，在樹(shù)突上，神經(jīng)元可以對(duì)不同來(lái)源的輸入信息進(jìn)行綜合。這就是神經(jīng)元對(duì)信息的空間綜合特性。對(duì)于來(lái)自同一個(gè)突觸的信息，神經(jīng)元可以對(duì)于不同時(shí)間傳入的信息進(jìn)行綜合。故神經(jīng)元對(duì)信息有時(shí)間綜合特性。D/A、A/D特性從神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號(hào)，故而是一個(gè)數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹(shù)突中膜電位的變化是連續(xù)的。故而，這時(shí)說(shuō)明突觸有D/A功能。在神經(jīng)元的樹(shù)突膜電位高過(guò)一定閥值時(shí)，則又變成電脈沖方式由軸突傳送出去。故而，這個(gè)過(guò)程說(shuō)明神經(jīng)元有A/D功能。很明顯，信息通過(guò)一個(gè)神經(jīng)元傳遞時(shí)，神經(jīng)元對(duì)信息執(zhí)行了D/A、A/D轉(zhuǎn)換過(guò)程。從上面可知，神經(jīng)元對(duì)信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。數(shù)學(xué)模型BP神經(jīng)絡(luò)模型BP絡(luò)是一種對(duì)非線(xiàn)性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層絡(luò)。它的最大特點(diǎn)是僅僅借助樣本數(shù)據(jù),無(wú)需建立系統(tǒng)的數(shù)學(xué)模型,就可對(duì)系統(tǒng)實(shí)現(xiàn)由m個(gè)輸入神經(jīng)元的模式向量p組成的pm空間到y(tǒng)n空間n(為輸出節(jié)點(diǎn)數(shù))的高度非線(xiàn)性映射。BP算法是為了解決多層前向神經(jīng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來(lái)的;所以BP算法也重慶大學(xué)碩士學(xué)位論文3基于BP神經(jīng)絡(luò)的軟件可靠性模型選擇研究通常暗示著神經(jīng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無(wú)反饋的多層前向絡(luò)。故而.有時(shí)也稱(chēng)無(wú)反饋多層前向絡(luò)為BP模型。在人工神經(jīng)絡(luò)的實(shí)際應(yīng)用中,80%一90%的神經(jīng)絡(luò)模型是采用BP絡(luò)或它的變化形式。BP算法是用于前饋多層絡(luò)的學(xué)習(xí)算法。

基本特征非線(xiàn)性非局限性非常定性非凸性基本特征非線(xiàn)性非線(xiàn)性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線(xiàn)性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線(xiàn)性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量。非局限性一個(gè)神經(jīng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過(guò)單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。非常定性人工神經(jīng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時(shí)，非線(xiàn)性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過(guò)程描寫(xiě)動(dòng)力系統(tǒng)的演化過(guò)程。非凸性一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。發(fā)展歷史發(fā)展歷史1943年，心理學(xué)家loch和數(shù)理邏輯學(xué)家W.Pitts建立了神經(jīng)絡(luò)和數(shù)學(xué)模型，稱(chēng)為MP模型。他們通過(guò)MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和絡(luò)結(jié)構(gòu)方法，證明了單個(gè)神經(jīng)元能執(zhí)行邏輯功能，從而開(kāi)創(chuàng)了人工神經(jīng)絡(luò)研究的時(shí)代。1949年，心理學(xué)家提出了突觸強(qiáng)度可變的設(shè)想。60年代，人工神經(jīng)絡(luò)的到了進(jìn)一步發(fā)展，更完善的神經(jīng)絡(luò)模型被提出，其中包括感知器和自適應(yīng)線(xiàn)性元件等。M.Minsky等仔細(xì)分析了以感知器為代表的神經(jīng)絡(luò)系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書(shū)，指出感知器不能解決高階謂詞問(wèn)題。他們的論點(diǎn)極大地影響了神經(jīng)絡(luò)的研究，加之當(dāng)時(shí)串行計(jì)算機(jī)和人工智能所取得的成就，掩蓋了發(fā)展新型計(jì)算機(jī)和人工智能新途徑的必要性和迫切性，使人工神經(jīng)絡(luò)的研究處于低潮。在此期間，一些人工神經(jīng)絡(luò)的研究者仍然致力于這一研究，提出了適應(yīng)諧振理論（ART）、自組織映射、認(rèn)知機(jī)絡(luò)，同時(shí)進(jìn)行了神經(jīng)絡(luò)數(shù)學(xué)理論的研究。以上研究為神經(jīng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。1982年，美國(guó)加州工學(xué)院物理學(xué)家eld提出了Hopfield神經(jīng)格模型，引入了“計(jì)算能量”概念，給出了絡(luò)穩(wěn)定性判斷。1984年，他又提出了連續(xù)時(shí)間Hopfield神經(jīng)絡(luò)模型，為神經(jīng)計(jì)算機(jī)的研究做了開(kāi)拓性的工作，開(kāi)創(chuàng)了神經(jīng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑，有力地推動(dòng)了神經(jīng)絡(luò)的研究，1985年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn)。1986年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論。90年代初，又有脈沖耦合神經(jīng)絡(luò)模型被提出。人工神經(jīng)絡(luò)的研究受到了各個(gè)發(fā)達(dá)國(guó)家的重視，美國(guó)國(guó)會(huì)通過(guò)決議將1990年1月5日開(kāi)始的十年定為“腦的十年”，國(guó)際研究組織號(hào)召它的成員國(guó)將“腦的十年”變?yōu)槿蛐袨?。在日本的“真?shí)世界計(jì)算（RWC）”項(xiàng)目中，人工智能的研究成了一個(gè)重要的組成部分。應(yīng)用自動(dòng)控制領(lǐng)域處理組合優(yōu)化問(wèn)題模式識(shí)別圖像處理信號(hào)處理機(jī)器人控制010302040506應(yīng)用衛(wèi)生保健醫(yī)療經(jīng)濟(jì)焊接領(lǐng)域應(yīng)用自動(dòng)控制領(lǐng)域主要有系統(tǒng)建模和辨識(shí)，參數(shù)整定，極點(diǎn)配置，內(nèi)?？刂?，優(yōu)化設(shè)計(jì)，預(yù)測(cè)控制，最優(yōu)控制，濾波與預(yù)測(cè)容錯(cuò)控制等。處理組合優(yōu)化問(wèn)題成功解決了旅行商問(wèn)題，另外還有最大匹配問(wèn)題，裝箱問(wèn)題和作業(yè)調(diào)度問(wèn)題。模式識(shí)別手寫(xiě)字符，汽車(chē)牌照，指紋和聲音識(shí)別，還可用于目標(biāo)的自動(dòng)識(shí)別，目標(biāo)跟蹤，機(jī)器人傳感器圖像識(shí)別及地震信號(hào)的鑒別。圖像處理對(duì)圖像進(jìn)行邊緣監(jiān)測(cè)，圖像分割，圖像壓縮和圖像恢復(fù)。信號(hào)處理能分別對(duì)通訊、語(yǔ)音、心電和腦電信號(hào)進(jìn)行處理分類(lèi)；可用于海底聲納信號(hào)的檢測(cè)與分類(lèi)，在反潛、掃雷等方面得到應(yīng)用。機(jī)器人控制對(duì)機(jī)器人軌道控制，操作機(jī)器人眼手系統(tǒng)，用于機(jī)械手的故障診斷及排除，智能自適應(yīng)移動(dòng)機(jī)器人