神經(jīng)網(wǎng)絡(luò)模型

模擬實際神經(jīng)絡(luò)的數(shù)學(xué)方法神經(jīng)網(wǎng)絡(luò)模型01介紹解剖機理結(jié)構(gòu)信息處理目錄03020405數(shù)學(xué)模型發(fā)展歷史基本特征應(yīng)用目錄070608基本信息模擬人類實際神經(jīng)絡(luò)的數(shù)學(xué)方法問世以來，人們已慢慢習(xí)慣了把這種人工神經(jīng)絡(luò)直接稱為神經(jīng)絡(luò)。神經(jīng)絡(luò)在系統(tǒng)辨識、模式識別、智能控制等領(lǐng)域有著廣泛而吸引人的前景，特別在智能控制中，人們對神經(jīng)絡(luò)的自學(xué)習(xí)功能尤其感興趣，并且把神經(jīng)絡(luò)這一重要特點看作是解決自動控制中控制器適應(yīng)能力這個難題的關(guān)鍵鑰匙之一。介紹神經(jīng)絡(luò)的學(xué)習(xí)機理和機構(gòu)學(xué)習(xí)是神經(jīng)絡(luò)一種最重要也最令人注目的特點。在神經(jīng)絡(luò)的發(fā)展進程中,學(xué)習(xí)算法的研究有著十分重要的地位。目前,人們所提出的神經(jīng)絡(luò)模型都是和學(xué)習(xí)算法相應(yīng)的。所以,有時人們并不去祈求對模型和算法進行嚴(yán)格的定義或區(qū)分。有的模型可以有多種算法。而有的算法可能可用于多種模型。在神經(jīng)絡(luò)中,對外部環(huán)境提供的模式樣本進行學(xué)習(xí)訓(xùn)練,并能存儲這種模式,則稱為感知器;對外部環(huán)境有適應(yīng)能力,能自動提取外部環(huán)境變化特征,則稱為認知器。神經(jīng)絡(luò)在學(xué)習(xí)中,一般分為有教師和無教師學(xué)習(xí)兩種。感知器采用有教師信號進行學(xué)習(xí),而認知器則采用無教師信號學(xué)習(xí)的。在主要神經(jīng)絡(luò)如Bp絡(luò),Hopfield絡(luò),ART絡(luò)和Kohonen絡(luò)中;Bp絡(luò)和Hopfield絡(luò)是需要教師信號才能進行學(xué)習(xí)的;而ART絡(luò)和Khonone絡(luò)則無需教師信號就可以學(xué)習(xí)49。所謂教師信號,就是在神經(jīng)絡(luò)學(xué)習(xí)中由外部提供的模式樣本信號。

機理結(jié)構(gòu)機理結(jié)構(gòu)神經(jīng)絡(luò)的基本組成單元是神經(jīng)元，在數(shù)學(xué)上的神經(jīng)元模型是和在生物學(xué)上的神經(jīng)細胞對應(yīng)的。或者說，人工神經(jīng)絡(luò)理論是用神經(jīng)元這種抽象的數(shù)學(xué)模型來描述客觀世界的生物細胞的。很明顯，生物的神經(jīng)細胞是神經(jīng)絡(luò)理論誕生和形成的物質(zhì)基礎(chǔ)和源泉。這樣，神經(jīng)元的數(shù)學(xué)描述就必須以生物神經(jīng)細胞的客觀行為特性為依據(jù)。因此，了解生物神經(jīng)細胞的行為特性就是一件十分重要而必須的事了。神經(jīng)絡(luò)的拓樸結(jié)構(gòu)也是以生物學(xué)解剖中神經(jīng)細胞互連的方式為依據(jù)的。對神經(jīng)細胞相互作用情況的揭露也是十分重要的。神經(jīng)元是神經(jīng)絡(luò)基本元素。只有了解神經(jīng)元才能認識神經(jīng)絡(luò)的本質(zhì)。在這一節(jié)介紹神經(jīng)元的生物學(xué)解剖，信息的處理與傳遞方式，工作功能以及其數(shù)學(xué)模型。解剖細胞體軸突樹突解剖細胞體細胞體是由很多分子形成的綜合體，內(nèi)部含有一個細胞核、核糖體、原生質(zhì)狀結(jié)構(gòu)等，它是神經(jīng)元活動的能量供應(yīng)地，在這里進行新陳代謝等各種生化過程。神經(jīng)元也即是整個細胞，整個細胞的最外層稱為細胞膜。樹突細胞體的伸延部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳入的信息的入口。軸突細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。突觸是一個神經(jīng)元與另一個神經(jīng)元之間相并進行信息傳送的結(jié)構(gòu)。如圖1—2所示。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一·個神經(jīng)元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間，間隙一般為200—300Å。突觸后成分可以是細胞體，樹突或軸突。突觸的存在說明：兩個神經(jīng)元的細胞質(zhì)并不直接連通，兩者彼此是通過突觸這種結(jié)構(gòu)接口的。有時．也把突觸看作是神經(jīng)元之間的連接。目前，根據(jù)神經(jīng)生理學(xué)研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其間的突觸起碼有4種不同行為。神經(jīng)元4種生物行為有：(1)能處于抑制或興奮狀態(tài)；(2)能產(chǎn)生爆發(fā)和平臺兩種情況；(3)能產(chǎn)生抑制后的反沖；(4)具有適應(yīng)性。信息處理興奮與抑制信息傳遞特性信息綜合特性D/A、A/D特性信息處理興奮與抑制人工神經(jīng)絡(luò)對神經(jīng)元的興奮與抑制進行模擬，故而首先應(yīng)了解神經(jīng)元的興奮與抑制狀態(tài)。一個神經(jīng)元的興奮和抑制兩種狀態(tài)是由細胞膜內(nèi)外之間不同的電位差來表征的。在抑制狀態(tài)，細胞膜內(nèi)外之間有內(nèi)負外正的電位差，這個電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負的相反電位差，這時表現(xiàn)為約60—100mv的電脈沖。細胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細胞的興奮電脈沖寬度一般大約為1ms。神經(jīng)元的興奮過程電位變化如圖1—3所示。圖1-3.神經(jīng)元的興奮過程電位變化信息傳遞特性對神經(jīng)細胞的研究結(jié)果表明：神經(jīng)元的電脈沖幾乎可以不衰減地沿著軸突傳送到其它神經(jīng)元去。由神經(jīng)元傳出的電脈沖信號通過軸突，首先到達軸突末梢，這時則使其中的囊泡產(chǎn)生變化從而釋放神經(jīng)遞質(zhì)，這種神經(jīng)遞質(zhì)通過突觸的間隙而進入到另一個神經(jīng)元的樹突中。樹突上的受體能夠接受神經(jīng)遞質(zhì)從而去改變膜向離子的通透性．使膜外內(nèi)離子濃度差產(chǎn)生變化；進而使電位產(chǎn)生變化。顯然，信息就從一個神經(jīng)元傳送到另一個神經(jīng)元中。當(dāng)神經(jīng)元接受來自其它神經(jīng)元的信息時，膜電位在開始時是按時間連續(xù)漸漸變化的。當(dāng)膜電位變化經(jīng)超出一個定值時，才產(chǎn)生突變上升的脈沖，這個脈沖接著沿軸突進行傳遞。神經(jīng)元這種膜電位高達一定閥值才產(chǎn)生脈沖傳送的特性稱閥值特性。這種閥值特性從圖1—3中也可以看出。神經(jīng)元的信息傳遞除了有閥值特性之外，還有兩個特點。一個是單向性傳遞，即只能從前一級神經(jīng)元的軸突末梢傳向后一級神經(jīng)元的樹突或細胞體，不能反之。另一個是延時性傳遞．信息通過突觸傳遞，通常會產(chǎn)生0.5-1ms的延時。信息綜合特性神經(jīng)元對來自其它神經(jīng)元的信息有時空綜合特性。在神經(jīng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達同一個神經(jīng)元的樹突并形成大量突觸。來源不同的突觸所釋放的神經(jīng)遞質(zhì)都可以對同一個神經(jīng)元的膜電位變化產(chǎn)生作用。因此，在樹突上，神經(jīng)元可以對不同來源的輸入信息進行綜合。這就是神經(jīng)元對信息的空間綜合特性。對于來自同一個突觸的信息，神經(jīng)元可以對于不同時間傳入的信息進行綜合。故神經(jīng)元對信息有時間綜合特性。D/A、A/D特性從神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號，故而是一個數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹突中膜電位的變化是連續(xù)的。故而，這時說明突觸有D/A功能。在神經(jīng)元的樹突膜電位高過一定閥值時，則又變成電脈沖方式由軸突傳送出去。故而，這個過程說明神經(jīng)元有A/D功能。很明顯，信息通過一個神經(jīng)元傳遞時，神經(jīng)元對信息執(zhí)行了D/A、A/D轉(zhuǎn)換過程。從上面可知，神經(jīng)元對信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。數(shù)學(xué)模型BP神經(jīng)絡(luò)模型BP絡(luò)是一種對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層絡(luò)。它的最大特點是僅僅借助樣本數(shù)據(jù),無需建立系統(tǒng)的數(shù)學(xué)模型,就可對系統(tǒng)實現(xiàn)由m個輸入神經(jīng)元的模式向量p組成的pm空間到y(tǒng)n空間n(為輸出節(jié)點數(shù))的高度非線性映射。BP算法是為了解決多層前向神經(jīng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來的;所以BP算法也重慶大學(xué)碩士學(xué)位論文3基于BP神經(jīng)絡(luò)的軟件可靠性模型選擇研究通常暗示著神經(jīng)絡(luò)的拓撲結(jié)構(gòu)是一種無反饋的多層前向絡(luò)。故而.有時也稱無反饋多層前向絡(luò)為BP模型。在人工神經(jīng)絡(luò)的實際應(yīng)用中,80%一90%的神經(jīng)絡(luò)模型是采用BP絡(luò)或它的變化形式。BP算法是用于前饋多層絡(luò)的學(xué)習(xí)算法。

基本特征非線性非局限性非常定性非凸性基本特征非線性非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的絡(luò)具有更好的性能，可以提高容錯性和存儲容量。非局限性一個神經(jīng)絡(luò)通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。非常定性人工神經(jīng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程。非凸性一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。發(fā)展歷史發(fā)展歷史1943年，心理學(xué)家loch和數(shù)理邏輯學(xué)家W.Pitts建立了神經(jīng)絡(luò)和數(shù)學(xué)模型，稱為MP模型。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和絡(luò)結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)絡(luò)研究的時代。1949年，心理學(xué)家提出了突觸強度可變的設(shè)想。60年代，人工神經(jīng)絡(luò)的到了進一步發(fā)展，更完善的神經(jīng)絡(luò)模型被提出，其中包括感知器和自適應(yīng)線性元件等。M.Minsky等仔細分析了以感知器為代表的神經(jīng)絡(luò)系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經(jīng)絡(luò)的研究，加之當(dāng)時串行計算機和人工智能所取得的成就，掩蓋了發(fā)展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經(jīng)絡(luò)的研究處于低潮。在此期間，一些人工神經(jīng)絡(luò)的研究者仍然致力于這一研究，提出了適應(yīng)諧振理論（ART）、自組織映射、認知機絡(luò)，同時進行了神經(jīng)絡(luò)數(shù)學(xué)理論的研究。以上研究為神經(jīng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。1982年，美國加州工學(xué)院物理學(xué)家eld提出了Hopfield神經(jīng)格模型，引入了“計算能量”概念，給出了絡(luò)穩(wěn)定性判斷。1984年，他又提出了連續(xù)時間Hopfield神經(jīng)絡(luò)模型，為神經(jīng)計算機的研究做了開拓性的工作，開創(chuàng)了神經(jīng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經(jīng)絡(luò)的研究，1985年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計熱力學(xué)模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點。1986年進行認知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論。90年代初，又有脈沖耦合神經(jīng)絡(luò)模型被提出。人工神經(jīng)絡(luò)的研究受到了各個發(fā)達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變?yōu)槿蛐袨?。在日本的“真實世界計算（RWC）”項目中，人工智能的研究成了一個重要的組成部分。應(yīng)用自動控制領(lǐng)域處理組合優(yōu)化問題模式識別圖像處理信號處理機器人控制010302040506應(yīng)用衛(wèi)生保健醫(yī)療經(jīng)濟焊接領(lǐng)域應(yīng)用自動控制領(lǐng)域主要有系統(tǒng)建模和辨識，參數(shù)整定，極點配置，內(nèi)?？刂?，優(yōu)化設(shè)計，預(yù)測控制，最優(yōu)控制，濾波與預(yù)測容錯控制等。處理組合優(yōu)化問題成功解決了旅行商問題，另外還有最大匹配問題，裝箱問題和作業(yè)調(diào)度問題。模式識別手寫字符，汽車牌照，指紋和聲音識別，還可用于目標(biāo)的自動識別，目標(biāo)跟蹤，機器人傳感器圖像識別及地震信號的鑒別。圖像處理對圖像進行邊緣監(jiān)測，圖像分割，圖像壓縮和圖像恢復(fù)。信號處理能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應(yīng)用。機器人控制對機器人軌道控制，操作機器人眼手系統(tǒng)，用于機械手的故障診斷及排除，智能自適應(yīng)移動機器人