神經(jīng)網(wǎng)絡(luò)原理模擬試題 華中科技大學(xué).doc

神經(jīng)網(wǎng)絡(luò)原理模擬試題朱張帆吳俊杰一、填空題1、從系統(tǒng)的觀點(diǎn)講，人工神經(jīng)元網(wǎng)絡(luò)是由大量神經(jīng)元通過極其豐富和完善的連接而構(gòu)成的自適應(yīng)、非線性、動力學(xué)系統(tǒng)。2、神經(jīng)網(wǎng)絡(luò)的基本特性有拓?fù)湫浴W(xué)習(xí)性和穩(wěn)定收斂性。3、神經(jīng)網(wǎng)絡(luò)按結(jié)構(gòu)可分為前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)，按性能可分為離散型和連續(xù)型，按學(xué)習(xí)方式可分為有導(dǎo)師和無導(dǎo)師。4、神經(jīng)網(wǎng)絡(luò)研究的發(fā)展大致經(jīng)過了四個階段。5、網(wǎng)絡(luò)穩(wěn)定性指從t=0時刻初態(tài)開始，到t時刻后v(t+t)=v(t)，(t0)，稱網(wǎng)絡(luò)穩(wěn)定。6、聯(lián)想的形式有兩種，它們分是自聯(lián)想和異聯(lián)想。7、存儲容量指網(wǎng)絡(luò)穩(wěn)定點(diǎn)的個數(shù)，提高存儲容量的途徑一是改進(jìn)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，二是改進(jìn)學(xué)習(xí)方法。8、非穩(wěn)定吸引子有兩種狀態(tài)，一是有限環(huán)狀態(tài)，二是混沌狀態(tài)。9、神經(jīng)元分興奮性神經(jīng)元和抑制性神經(jīng)元。10、漢明距離指兩個向量中對應(yīng)元素不同的個數(shù)。二、簡答題1、人工神經(jīng)元網(wǎng)絡(luò)的特點(diǎn)？答：（1）、信息分布存儲和容錯性。（2）、大規(guī)模并行協(xié)同處理。（3）、自學(xué)習(xí)、自組織和自適應(yīng)。（4）、人工神經(jīng)元網(wǎng)絡(luò)是大量的神經(jīng)元的集體行為，表現(xiàn)為復(fù)雜的非線性動力學(xué)特性。（5）人式神經(jīng)元網(wǎng)絡(luò)具有不適合高精度計(jì)算、學(xué)習(xí)算法和網(wǎng)絡(luò)設(shè)計(jì)沒有統(tǒng)一標(biāo)準(zhǔn)等局限性。2、單個神經(jīng)元的動作特征有哪些？答：單個神經(jīng)元的動作特征有：（1）、空間相加性；（2）、時間相加性；（3）、閾值作用；（4）、不應(yīng)期；（5）、可塑性；（6）疲勞。3、怎樣描述動力學(xué)系統(tǒng)？答：對于離散時間系統(tǒng)，用一組一階差分方程來描述：X(t+1)=FX(t)；對于連續(xù)時間系統(tǒng)，用一階微分方程來描述：dU(t)/dt=FU(t)。4、F(x)與x的關(guān)系如下圖，試述它們分別有幾個平衡狀態(tài)，是否為穩(wěn)定的平衡狀態(tài)？XF(X)0ab(1) XF(X)0a(2) 答：在圖（1）中，有兩個平衡狀態(tài)a、b，其中，在a點(diǎn)曲線斜率|F(X)|1，為非穩(wěn)定平穩(wěn)狀態(tài)；在b點(diǎn)曲線斜率|F(X)|1，為非穩(wěn)定平穩(wěn)狀態(tài)。5、對于單個神經(jīng)元的離散模型，Hebb學(xué)習(xí)假設(shè)是什么，基本學(xué)習(xí)方程是什么？答：對于單個神經(jīng)元的離散模型，Hebb學(xué)習(xí)假設(shè)是：只有當(dāng)神經(jīng)元興奮時，與其連接的突觸結(jié)合權(quán)才被強(qiáng)化而增大；當(dāng)兩個神經(jīng)元同時處于興奮狀態(tài)時，它們之間的連接權(quán)應(yīng)該加強(qiáng)?；緦W(xué)習(xí)方程是：6、聯(lián)想形式中的自聯(lián)想和異聯(lián)想有何區(qū)別？答：自聯(lián)想指的是由某種代表事物（或該事物的主要特征或可能是部分主在特征）聯(lián)想到其所表示的實(shí)際事物。其數(shù)學(xué)模型為：當(dāng)輸入XX0+V時，輸出Y=X0。異聯(lián)想指的是由某一事物（或該事物的主要特征或可能是部分主在特征）聯(lián)想到與其相關(guān)的另一事物。其數(shù)學(xué)模型為：在映射X0Y0下，當(dāng)輸入XX0+V時，輸出Y=Y0。7、網(wǎng)絡(luò)的穩(wěn)定吸引子和吸引子的吸引域分別指什么？答：當(dāng)t=0時，對網(wǎng)絡(luò)輸入模式x，網(wǎng)絡(luò)處于狀態(tài)v(0)，到時刻t網(wǎng)絡(luò)達(dá)到狀態(tài)v(t)，若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子。吸引子的吸引域是指所有經(jīng)過一定時間能夠穩(wěn)定在吸引子v(t)上的所有初始狀態(tài)的集合。三、論述題1、 前饋式神經(jīng)元網(wǎng)絡(luò)與反饋式神經(jīng)元網(wǎng)絡(luò)有何不同？答：（1）、前饋型神經(jīng)元網(wǎng)絡(luò)取連續(xù)或離散變量，一般不考慮輸出與輸入在時間上的滯后效應(yīng)，只表達(dá)輸出與輸入的映射關(guān)系。反饋式神經(jīng)元網(wǎng)絡(luò)可以用離散變量也可以用連續(xù)取值，考慮輸出與輸入之間在時間上和延遲，需要用動態(tài)方程來描述系統(tǒng)的模型。（2）、前饋型網(wǎng)絡(luò)的學(xué)習(xí)主要采用誤差修正法（如BP算法），計(jì)算過程一般比較慢，收斂速度也比較慢。而反饋型網(wǎng)絡(luò)主要采用Hebb學(xué)習(xí)規(guī)則，一般情況下計(jì)算的收斂速度很快。反饋網(wǎng)絡(luò)也有類似于前饋網(wǎng)絡(luò)的應(yīng)用，例如用作聯(lián)想記憶或分類，而在優(yōu)化計(jì)算方面的應(yīng)用更能顯出反饋網(wǎng)絡(luò)的特點(diǎn)。2、 試述離散型Hopfield神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及工作原理。（1） Hopfield神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)如下： 這種網(wǎng)絡(luò)是一種單層網(wǎng)絡(luò)，由n個單元組成。每個神精元既是輸入單元，又是輸出單元；各節(jié)點(diǎn)一般選用相同的轉(zhuǎn)移函數(shù)，且為符號函數(shù)，即： 為網(wǎng)絡(luò)的輸入； 為網(wǎng)絡(luò)的輸出； 為網(wǎng)絡(luò)在時刻t 的狀態(tài)，其中t0，1，2， 為離散時間變量。Wij為從Ni到Nj的連接權(quán)值，Hopfield網(wǎng)絡(luò)為對稱的即有Wij = Wji 。N1N2Nn-1Nnx1x2xn-1xny1y2Yn-1ynV1(t)V2(t)Vn-1(t)Vn(t)w21Wn-1 2（2）、工作原理：、網(wǎng)絡(luò)經(jīng)過訓(xùn)練后，可以認(rèn)為網(wǎng)絡(luò)處于等待工作狀態(tài)，對網(wǎng)絡(luò)給定初始輸入x時，網(wǎng)絡(luò)就處于特定的初始狀態(tài)，由此初始狀態(tài)開始運(yùn)行，可以得到網(wǎng)絡(luò)的下一個輸出狀態(tài)。、這個輸出狀態(tài)通過反饋回送到網(wǎng)絡(luò)的輸入端，作為網(wǎng)絡(luò)下一個階段的輸入信號，這個輸入信號可能與初始輸入信號不同，由這個新的輸入又可得到下一步的輸出,如此重復(fù)。、如果網(wǎng)絡(luò)是穩(wěn)定的，經(jīng)過若干次反饋運(yùn)行后網(wǎng)絡(luò)將會達(dá)到穩(wěn)態(tài)。、Hopfield網(wǎng)絡(luò)的工作過程可用下式表示：研究生神經(jīng)網(wǎng)絡(luò)試題A卷參考答案一、名詞解釋(共5題，每題5分，共計(jì)25分) 1、泛化能力答：泛化能力又稱推廣能力，是機(jī)器學(xué)習(xí)中衡量學(xué)習(xí)機(jī)性能好壞的一個重要指標(biāo)。泛化能力主要是指經(jīng)過訓(xùn)練得到的學(xué)習(xí)機(jī)對未來新加入的樣本（即測試樣本）數(shù)據(jù)進(jìn)行正確預(yù)測的能力。2、有監(jiān)督學(xué)習(xí)答：有監(jiān)督學(xué)習(xí)又被稱為有導(dǎo)師學(xué)習(xí)，這種學(xué)習(xí)方式需要外界存在一個“教師”，她可以對一組給定輸入提供應(yīng)有的輸出結(jié)果，學(xué)習(xí)系統(tǒng)可根據(jù)已知輸出與實(shí)際輸出之間的差值來調(diào)節(jié)系統(tǒng)參數(shù)。3、過學(xué)習(xí)答：過學(xué)習(xí)（over-fitting），也叫過擬和。在機(jī)器學(xué)習(xí)中，由于學(xué)習(xí)機(jī)器過于復(fù)雜，盡管保證了分類精度很高（經(jīng)驗(yàn)風(fēng)險很?。?，但由于VC維太大，所以期望風(fēng)險仍然很高。也就是說在某些情況下，訓(xùn)練誤差最小反而可能導(dǎo)致對測試樣本的學(xué)習(xí)性能不佳，發(fā)生了這種情況我們稱學(xué)習(xí)機(jī)（比如神經(jīng)網(wǎng)絡(luò)）發(fā)生了過學(xué)習(xí)問題。典型的過學(xué)習(xí)是多層前向網(wǎng)絡(luò)的BP算法4、Hebb學(xué)習(xí)規(guī)則答：如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強(qiáng)。如果用、表示神經(jīng)元i和j的激活值(輸出)，表示兩個神經(jīng)元之間的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則可以表示為： ，這里表示學(xué)習(xí)速率。Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。5、自學(xué)習(xí)、自組織與自適應(yīng)性答：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的特征是處理單元的高度并行性與分布性，這種特征使神經(jīng)網(wǎng)絡(luò)在信息處理方面具有信息的分布存儲與并行計(jì)算而且存儲與處理一體化的特點(diǎn)。而這些特點(diǎn)必然給神經(jīng)網(wǎng)絡(luò)帶來較快的處理速度和較強(qiáng)的容錯能力。能力方面的特征是神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自組織與自性適應(yīng)性。自適應(yīng)性是指一個系統(tǒng)能改變自身的性能以適應(yīng)環(huán)境變化的能力，它包含自學(xué)習(xí)與自組織兩層含義。自學(xué)習(xí)是指當(dāng)外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能通過自動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對于給定輸入能產(chǎn)生期望的輸出。自組織是指神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)。也就是說自組織神經(jīng)元的學(xué)習(xí)過程，完全是一種自我學(xué)習(xí)的過程，不存在外部教師的示教。二、問答題（共7題，每題8分，共計(jì)56分）3、人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)的產(chǎn)物，除相同點(diǎn)外，它們還存在哪些主要區(qū)別？答; 1單元上的差別 對于生物神經(jīng)元而言，影響突觸傳遞信息強(qiáng)度的因素很多、很復(fù)雜。如突觸前微細(xì)胞的大小與多少、神經(jīng)傳遞化學(xué)物質(zhì)含量的多少、神經(jīng)傳遞化學(xué)物質(zhì)釋放的速度、突觸間隙的變化、樹突的位置與大小等諸多因素都會對突觸電位產(chǎn)生影響，從而影響神經(jīng)元的輸出脈沖響應(yīng)。而人工神經(jīng)元則忽略了這些影響，輸入、輸出關(guān)系十分簡單。2信息上的差別 生物神經(jīng)元傳遞的信息是脈沖，而人工神經(jīng)元傳遞的信息是模擬電壓。3規(guī)模與智能上的差別 目前，人工神經(jīng)網(wǎng)絡(luò)的規(guī)模還遠(yuǎn)小于生物神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中神經(jīng)元的數(shù)量一般在104個以下，顯然，其智能也無法與生物神經(jīng)網(wǎng)絡(luò)相比。4、感知器神經(jīng)網(wǎng)絡(luò)存在的主要缺陷是什么？答: 1)由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題；2)感知器僅能夠線性地將輸入矢量進(jìn)行分類。理論上已經(jīng)證明，只要輸人矢量是線性可分的，感知器在有限的時間內(nèi)總能達(dá)到目標(biāo)矢量；3)感知器還有另外一個問題，當(dāng)輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導(dǎo)致較慢的收斂速度。5、請比較前饋型神經(jīng)網(wǎng)絡(luò)與反饋型神經(jīng)網(wǎng)絡(luò)的異同點(diǎn)。（8分）答：前饋型神經(jīng)網(wǎng)絡(luò)只表達(dá)輸入輸出之間的映射關(guān)系，實(shí)現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡(luò)考慮輸入輸出之間在時間上的延遲，需要用動態(tài)方程來描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個非線性動力學(xué)系統(tǒng)。(1) 前饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練主要采用BP算法，計(jì)算過程和收斂速度比較慢；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要采用Hebb規(guī)則，一般情況下計(jì)算的收斂速度很快，并且它與電子電路有明顯的對應(yīng)關(guān)系，使得網(wǎng)絡(luò)易于用硬件實(shí)現(xiàn)。(2) 前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是快速尋找到穩(wěn)定點(diǎn)，一般用能量函數(shù)來判別是否趨于穩(wěn)定點(diǎn)。(3) 兩者都有局部極小問題。6、BP算法的基本思想是什么，它存在哪些不足之處？（9分）答：BP算法（即反向傳播法）的基本思想是：學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個過程組成。1）正向傳播：輸入樣本輸入層各隱層（處理）輸出層注1：若輸出層實(shí)際輸出與期望輸出（教師信號）不符，則轉(zhuǎn)入2）（誤差反向傳播過程）2）誤差反向傳播：輸出誤差（某種形式）隱層（逐層）輸入層其主要目的是通過將輸出誤差反傳，將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號，進(jìn)而修正各單元的權(quán)值（其過程，是一個權(quán)值調(diào)整的過程）。注2：權(quán)值調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程（學(xué)習(xí)也就是這么的由來，權(quán)值調(diào)整）。雖然BP算法得到廣泛的應(yīng)用，但它也存在自身的限制與不足，其主要表現(xiàn)在于它的訓(xùn)練過程的不確定上。具體說明如下：1）易形成局部極