《導(dǎo)師孫名松教授》PPT課件.ppt

導(dǎo)師：孫名松 教授,學(xué)生：周夢(mèng)熊,基于實(shí)數(shù)編碼遺傳神經(jīng)網(wǎng)絡(luò)的 入侵檢測(cè)方法研究,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測(cè)器同步檢測(cè)模型 數(shù)據(jù)預(yù)處理 仿真實(shí)驗(yàn) 結(jié)束語和展望 發(fā)表論文,選題來源,本論文的項(xiàng)目背景是黑龍江省自然科學(xué)基金項(xiàng)目基于多層前向神經(jīng)網(wǎng)絡(luò)的分布式入侵檢測(cè)模型，本文作為該項(xiàng)目的一個(gè)組成部分，將實(shí)數(shù)編碼遺傳算法與神經(jīng)網(wǎng)絡(luò)結(jié)合作為其中一個(gè)分布式Agent的檢測(cè)算法。,課題背景,論文主要內(nèi)容,比較分析入侵檢測(cè)方法，將實(shí)數(shù)編碼的遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)初始權(quán)重應(yīng)用于入侵檢測(cè)； 為了提高入侵檢測(cè)系統(tǒng)的檢測(cè)效率和實(shí)時(shí)性，提出分類檢測(cè)器同步檢測(cè)模型；,課題背景,論文主要內(nèi)容,數(shù)據(jù)預(yù)處理，即把經(jīng)過數(shù)據(jù)挖掘后的樣本數(shù)據(jù)進(jìn)行歸一化處理； 二次處理，即對(duì)數(shù)據(jù)預(yù)處理后的數(shù)據(jù)進(jìn)行深度處理，從而對(duì)樣本數(shù)據(jù)進(jìn)行有效性的壓縮； 仿真實(shí)驗(yàn)，得出結(jié)論。,課題背景,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測(cè)器同步檢測(cè)模型 數(shù)據(jù)預(yù)處理 仿真實(shí)驗(yàn) 結(jié)束語和展望 發(fā)表論文,實(shí)數(shù)編碼遺傳算法,遺傳算法的主要特點(diǎn)是群體搜索策略和群體中個(gè)體之間的信息交換，搜索不依賴梯度信息，也不需要求解函數(shù)可微，只需要該函數(shù)在約束條件下可解，因此該方法適用于處理傳統(tǒng)方法難以解決的復(fù)雜和非線性問題。 目前，遺傳算法經(jīng)常采用二進(jìn)制編碼，這有它自身的優(yōu)點(diǎn)，如它能使交叉和變異操作容易實(shí)現(xiàn)，雖然采用二進(jìn)制編碼時(shí)算法處理的模式數(shù)最多，但在處理優(yōu)化,遺傳神經(jīng)網(wǎng)絡(luò),實(shí)數(shù)編碼遺傳算法,問題時(shí)，會(huì)出現(xiàn)一些問題： “由于相鄰整數(shù)的二進(jìn)制編碼結(jié)構(gòu)可能出現(xiàn)很大的差異，這樣會(huì)降低遺傳算子的搜索效率，而且如果設(shè)計(jì)變量的精度很高，串長就很大，這樣也降低了算法的效率，并且在進(jìn)化過程中還要不停地進(jìn)行編碼和解碼操作，計(jì)算時(shí)間比較長，所以在求解高維優(yōu)化時(shí)，算法的搜索效率就更低了”。,遺傳神經(jīng)網(wǎng)絡(luò),實(shí)數(shù)編碼遺傳算法,而基于實(shí)數(shù)編碼的遺傳算法不存在編碼和解碼過程，能夠大大提高解的精度和運(yùn)算速度，因此，基于實(shí)數(shù)編碼的遺傳算法得到了越來越多的重視。,遺傳神經(jīng)網(wǎng)絡(luò),編碼方式,由于實(shí)數(shù)編碼的遺傳算法不存在編碼和解碼過程，能夠大大提高解的精度和運(yùn)算速度，因此，本文采用實(shí)數(shù)編碼。,遺傳神經(jīng)網(wǎng)絡(luò),適應(yīng)度函數(shù),所謂的適應(yīng)度函數(shù)就是評(píng)價(jià)函數(shù)，將染色體上表示的各個(gè)權(quán)值分配到給定的網(wǎng)絡(luò)結(jié)構(gòu)中，網(wǎng)絡(luò)以訓(xùn)練集樣本為輸入輸出，運(yùn)行后返回誤差平方和的倒數(shù)作為染色體的適應(yīng)度函數(shù)，如式(2-1)所示。,遺傳神經(jīng)網(wǎng)絡(luò),(2-1),遺傳算子設(shè)計(jì),選擇算子 采用適應(yīng)度比例方法，計(jì)算每個(gè)個(gè)體的適應(yīng)度值并將其排序，每個(gè)個(gè)體的選擇概率和其適應(yīng)度值成正比例。即適應(yīng)度值越大，它被選擇到的機(jī)會(huì)也就越大，從而被遺傳到下一代的可能性也越大。 設(shè)群體大小為n，個(gè)體i的適應(yīng)度值為fi，則被選擇的概率為Psi，如式(2-2)所示,遺傳神經(jīng)網(wǎng)絡(luò),(2-2),遺傳算子設(shè)計(jì),交叉算子 這里設(shè)計(jì)為具有數(shù)值特點(diǎn)的向量線性組合。如有兩個(gè)個(gè)體Sa與Sb交叉，則產(chǎn)生的子代個(gè)體如式(2-3)、(2-4)所示。 其中，的取值在(0，1)。,遺傳神經(jīng)網(wǎng)絡(luò),(2-3),(2-4),遺傳算子設(shè)計(jì),變異算子 對(duì)于子代染色體中的每個(gè)權(quán)值輸入位置，變異算子以概率Pm在初始概率分布中隨機(jī)選擇一個(gè)值，然后與該輸入位置上的權(quán)值相加。,遺傳神經(jīng)網(wǎng)絡(luò),遺傳算子設(shè)計(jì),取值為0.5時(shí)進(jìn)行交叉算子運(yùn)算，如圖2-1中交叉部分所示，兩個(gè)個(gè)體經(jīng)過交叉后生成兩個(gè)新個(gè)體；變異算子運(yùn)算如圖2-1中變異部分所示；粗體斜體部分表示交叉或變異的位置,遺傳神經(jīng)網(wǎng)絡(luò),遺傳算子設(shè)計(jì),遺傳神經(jīng)網(wǎng)絡(luò),圖 2-1 交叉和變異算子的運(yùn)算,面向神經(jīng)網(wǎng)絡(luò)權(quán)重學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)的權(quán)值按一定的順序級(jí)聯(lián)為一個(gè)長串，串上的每一個(gè)位置對(duì)應(yīng)著網(wǎng)絡(luò)的一個(gè)權(quán)值。,遺傳神經(jīng)網(wǎng)絡(luò),圖 2-2 神經(jīng)網(wǎng)絡(luò)權(quán)值編碼,面向神經(jīng)網(wǎng)絡(luò)權(quán)重學(xué)習(xí),如圖2-2所示，神經(jīng)網(wǎng)絡(luò)編碼為： （1.4, -1.8, 3.6, 1.7, 0.9, -0.7, 4.5, -0.3, 1.3）,遺傳神經(jīng)網(wǎng)絡(luò),目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測(cè)器同步檢測(cè)模型 數(shù)據(jù)預(yù)處理 仿真實(shí)驗(yàn) 結(jié)束語和展望 發(fā)表論文,系統(tǒng)總體結(jié)構(gòu),分類檢測(cè)器同步檢測(cè)模型,圖 3-1 系統(tǒng)結(jié)構(gòu)圖,分類檢測(cè)器同步檢測(cè)模型,分類檢測(cè)器同步檢測(cè)模型,圖 3-2 分類檢測(cè)器同步檢測(cè)模型,本文將“檢測(cè)引擎模塊”進(jìn)行細(xì)化設(shè)計(jì)后提出“分類檢測(cè)器同步檢測(cè)”的模型，同步檢測(cè)模型如圖3-2所示。,同步檢測(cè)算法描述,分類檢測(cè)器同步檢測(cè)模型,檢測(cè)器調(diào)度算法采用多線程實(shí)現(xiàn)，由于涉及到線程同步問題，自然會(huì)想到同步鎖，線程間優(yōu)先權(quán)設(shè)置我們采用如下方法： 即四大類攻擊中按樣本數(shù)所占比例大小進(jìn)行優(yōu)先權(quán)的設(shè)置，所占比例越大，優(yōu)先權(quán)就越大，這樣，最后，優(yōu)先權(quán)從高到低設(shè)置為“DOS、PROBE、R2L、U2R” 。,同步檢測(cè)算法描述,分類檢測(cè)器同步檢測(cè)模型,算法描述 分別為每個(gè)檢測(cè)器開啟一個(gè)線程； 輸入向量，按照線程優(yōu)先權(quán)的大小，代表檢測(cè)DOS類型攻擊的檢測(cè)器A首先獲得該“鎖”并對(duì)該輸入向量進(jìn)行檢測(cè)； 如果是DOS攻擊，則通知“狀態(tài)監(jiān)視”模塊并設(shè)置為True，“狀態(tài)監(jiān)視”一旦為True則馬上通知其它檢測(cè)器線程不用等待該鎖而直接做好獲取下一把“鎖” (也就是下一個(gè)輸入向量)的準(zhǔn)備，直接輸出結(jié)果后轉(zhuǎn)步驟2；如果不是DOS攻擊，則釋放該“鎖”，讓代表檢測(cè)PROBE類型攻擊的檢測(cè)器D獲得該“鎖”進(jìn)行檢測(cè)，如果檢測(cè)出攻擊則輸出結(jié)果同樣轉(zhuǎn)步驟2，否則，依此類推繼續(xù)檢測(cè)； 當(dāng)最后一個(gè)檢測(cè)器對(duì)輸入向量檢測(cè)也正常時(shí)，則輸出結(jié)果轉(zhuǎn)步驟2,同步檢測(cè)算法描述,分類檢測(cè)器同步檢測(cè)模型,輸出結(jié)果向量表示： 0 0 0 1表示DOS攻擊； 0 0 1 0表示R2L類型攻擊； 0 1 0 0表示U2R類型攻擊； 1 0 0 0表示PROBE類型攻擊。,其中x1, x2, x3, x4分別表示檢測(cè)器A、B、C、D的輸出,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測(cè)器同步檢測(cè)模型 數(shù)據(jù)預(yù)處理 仿真實(shí)驗(yàn) 結(jié)束語和展望 發(fā)表論文,數(shù)據(jù)來源,本文采用麻省理工大學(xué)林肯實(shí)驗(yàn)室的測(cè)試數(shù)據(jù)KDDCUP99，它是專門用來進(jìn)行入侵檢測(cè)評(píng)估的。 我們采用數(shù)據(jù)集上的一個(gè)子集10percent作為實(shí)驗(yàn)數(shù)據(jù)源，它一共包含有494021條網(wǎng)絡(luò)連接，其中正常連接97277 條，異常連接396744條。,數(shù)據(jù)預(yù)處理,數(shù)據(jù)歸一化,一般歸一化公式：,數(shù)據(jù)預(yù)處理,歸一化到0、1之間：,樣本精簡,矩陣初等行變換能保持矩陣列向量之間的線性關(guān)系，利用這個(gè)結(jié)論我們可以用來進(jìn)行樣本數(shù)據(jù)的精簡，這樣精簡后的樣本數(shù)據(jù)能夠保持各屬性字段之間的線性關(guān)系。 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實(shí)際上是一個(gè)通過給定樣本實(shí)時(shí)調(diào)整網(wǎng)絡(luò)連接權(quán)重的過程，樣本預(yù)處理的結(jié)果對(duì)于網(wǎng)絡(luò)訓(xùn)練的收斂性起到關(guān)鍵的作用。下面我們針對(duì)DOS攻擊類型數(shù)據(jù)(DOS攻擊類型編碼為“0 0 0 1”)進(jìn)行分析。,數(shù)據(jù)預(yù)處理,樣本精簡,設(shè)A為樣本數(shù)據(jù)矩陣，其中每一行向量表示一條樣本數(shù)據(jù)，則該行向量含34個(gè)數(shù)據(jù)，假設(shè)有a條樣本，則A為a行34列矩陣；由于每條樣本數(shù)據(jù)輸入網(wǎng)絡(luò)后都會(huì)有一條對(duì)應(yīng)的輸出，加上本實(shí)例為DOS攻擊類型以編碼“0 0 0 1”表示，則期望輸出矩陣B為a行4列矩陣(暫時(shí)先不考慮閾值，只考慮權(quán)重問題)。 本文BP神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)為34個(gè)，隱含層節(jié)點(diǎn)數(shù)為15個(gè)，輸出層節(jié)點(diǎn)數(shù)為4個(gè)。,數(shù)據(jù)預(yù)處理,樣本精簡,雖然神經(jīng)網(wǎng)絡(luò)的連接權(quán)重可以用一個(gè)實(shí)數(shù)串進(jìn)行表示，但在進(jìn)行網(wǎng)絡(luò)的訓(xùn)練時(shí)，還需要將實(shí)數(shù)串分為兩部分，設(shè)輸入層到隱含層的連接權(quán)重矩陣為W1，則W1為34行15列矩陣；同理，隱含層到輸出層的連接權(quán)重矩陣W2為15行4列矩陣。 于是我們可以得到公式(4-1)。,數(shù)據(jù)預(yù)處理,樣本精簡,如式(4-2)所示，A和B是系數(shù)矩陣 ,C是增廣矩陣。 經(jīng)過帶約束初等行變換后如式(4-3)所示。,數(shù)據(jù)預(yù)處理,(4-2),(4-3),(4-1),樣本精簡,數(shù)據(jù)預(yù)處理,式(4-3)中，C、D為零矩陣，經(jīng)過處理以后，由原先的A對(duì)應(yīng)輸出B變成了現(xiàn)在的A對(duì)應(yīng)輸出B，通過這樣的處理，我們就可以將大樣本變?yōu)樾颖?，從而使?jì)算更加快速，樣本數(shù)據(jù)更加精簡。,歸一化精度對(duì)樣本影響,數(shù)據(jù)預(yù)處理,為了能使樣本應(yīng)用于本文提出的分類檢測(cè)器同步檢測(cè)模型，我們將樣本數(shù)據(jù)先進(jìn)行歸類合并，分別構(gòu)造出DOS、PROBE、U2R、R2L四大類攻擊樣本數(shù)據(jù)集，這樣四個(gè)檢測(cè)器分別檢測(cè)四大類攻擊。 為了降低可疑攻擊數(shù)，即四大攻擊類型數(shù)據(jù)集之間的重疊記錄數(shù)要少。精度過大會(huì)增加計(jì)算量，從而會(huì)降低學(xué)習(xí)速度；精度過小，會(huì)使記錄重疊數(shù)增加，從而造成可疑攻擊數(shù)增加，影響訓(xùn)練結(jié)果。,歸一化精度對(duì)樣本影響,數(shù)據(jù)預(yù)處理,表4-1 小數(shù)點(diǎn)保留1位時(shí)記錄重復(fù)情況,歸一化精度對(duì)樣本影響,數(shù)據(jù)預(yù)處理,表4-2 小數(shù)點(diǎn)保留4位時(shí)記錄重復(fù)情況,歸一化精度對(duì)樣本影響,數(shù)據(jù)預(yù)處理,表4-3 樣本數(shù)據(jù)壓縮情況,歸一化精度對(duì)樣本影響,數(shù)據(jù)預(yù)處理,圖4-1 樣本數(shù)據(jù)壓縮情況,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測(cè)器同步檢測(cè)模型 數(shù)據(jù)預(yù)處理 仿真實(shí)驗(yàn) 結(jié)束語和展望 發(fā)表論文,學(xué)習(xí)樣本和測(cè)試樣本,仿真實(shí)驗(yàn),表5-1 樣本數(shù)據(jù),學(xué)習(xí)樣本和測(cè)試樣本,仿真實(shí)驗(yàn),表5-1是數(shù)據(jù)預(yù)處理后的標(biāo)準(zhǔn)格式，學(xué)習(xí)樣本和測(cè)試樣本數(shù)據(jù)只取DOS攻擊樣本中數(shù)據(jù)。 為避免發(fā)生神經(jīng)網(wǎng)絡(luò)的“過擬合”現(xiàn)象，我們不需要讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過多的樣本細(xì)節(jié)，這里取DOS攻擊樣本數(shù)據(jù)30條作為學(xué)習(xí)樣本進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，期望輸出都為“0 0 0 1”。測(cè)試樣本數(shù)據(jù)為300條。,實(shí)驗(yàn)環(huán)境和運(yùn)行參數(shù),仿真實(shí)驗(yàn),實(shí)驗(yàn)環(huán)境為“Intel(R) Celeron(TM) CPU 1000MHz，內(nèi)存384M，操作系統(tǒng)Windows2000 Professional”，開發(fā)工具為MATLAB 7.0 。 在遺傳算法中，種群規(guī)模Psize=60，權(quán)重初始化空間為-1，+1，遺傳代數(shù)為gen=200代，選擇概率Ps0.09，交叉率Pc=0.6，變異率Pm0.05；在 BP 算法中，最大訓(xùn)練次數(shù)為3000，目標(biāo)誤差為0.01，學(xué)習(xí)率為0.01 。,GA訓(xùn)練BP網(wǎng)絡(luò)連接權(quán)值,仿真實(shí)驗(yàn),圖5-1 GA訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)重,GA訓(xùn)練BP網(wǎng)絡(luò)連接權(quán)值,仿真實(shí)驗(yàn),圖5-2 局部放大,BP神經(jīng)網(wǎng)絡(luò)進(jìn)行局部尋優(yōu),仿真實(shí)驗(yàn),圖5-3 BP局部尋優(yōu),仿真結(jié)果,仿真實(shí)驗(yàn),300條DOS攻擊類型的樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)的測(cè)試，期望輸出應(yīng)該為“0 0 0 1”，限于篇幅，表5-2只列出部分網(wǎng)絡(luò)輸出結(jié)果。每一列對(duì)應(yīng)為一個(gè)輸出結(jié)果，第一個(gè)輸出為(0.0003, 0.0004, 0.0005, 0.9987)，可以直觀地看出應(yīng)該符合(0，0，0，1)編碼形式，故該條測(cè)試樣本數(shù)據(jù)為DOS攻擊類型。,表5-2 部分輸出結(jié)果,仿真結(jié)果,仿真實(shí)驗(yàn),300條DOS攻擊樣本數(shù)據(jù)經(jīng)過測(cè)試后，有4條檢測(cè)出錯(cuò)并且都被檢測(cè)為其它攻擊類型，296條檢測(cè)正確，檢測(cè)率為98.67%，4條入侵樣本數(shù)據(jù)沒有被檢測(cè)出來，相對(duì)于DOS攻擊來講就是“正?！睌?shù)據(jù)，則漏報(bào)率為1.33%。,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測(cè)器同步檢測(cè)模型 數(shù)據(jù)預(yù)處理 仿真實(shí)驗(yàn) 結(jié)束語和展望 發(fā)表論文,論文主要工作,研究了基于實(shí)數(shù)編碼遺傳神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)。 提出了分類檢測(cè)器同步檢測(cè)的模型，并給出算法描述。每個(gè)檢測(cè)器就是一個(gè)訓(xùn)練好的遺傳神經(jīng)網(wǎng)絡(luò)，通過多線程同步原理，既可以保證每個(gè)檢測(cè)器高檢測(cè)率、低漏報(bào)率的特點(diǎn)，又可以保證檢測(cè)實(shí)時(shí)性的特性。,結(jié)束語和展望,論文主要工作,在樣本預(yù)處理基礎(chǔ)上進(jìn)行了二次處理，將矩陣?yán)碚撝R(shí)應(yīng)用于樣本數(shù)據(jù)的精簡，并根據(jù)本文分類檢測(cè)器同步檢測(cè)模型的特點(diǎn)找出一條合理壓縮數(shù)據(jù)途徑。 通過仿真實(shí)驗(yàn)，我們可以看出每個(gè)檢測(cè)器的檢測(cè)效率很高，同時(shí)也可以看出訓(xùn)練時(shí)遺傳神經(jīng)網(wǎng)絡(luò)收斂速度很快，而且因?yàn)閷?shí)數(shù)編碼的原因，遺傳算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)重過程時(shí)進(jìn)化到85代就基本穩(wěn)定下來，大大減少了訓(xùn)練的時(shí)間。,結(jié)束語和展望,下一步工作,將數(shù)據(jù)挖掘與樣本處理結(jié)合，期望能進(jìn)一步挖掘出符合具體檢測(cè)模型的檢測(cè)特征字段 對(duì)提出的分類檢測(cè)器同步檢測(cè)模型做進(jìn)一步改進(jìn) ，使其在自適應(yīng)性方面得到提高 復(fù)合攻擊類型的入侵檢測(cè)技術(shù)研究，特別是基于行為分析的復(fù)合攻擊事件檢測(cè)技術(shù),結(jié)束語和展望,目 錄,課題背景 遺傳神經(jīng)網(wǎng)絡(luò) 分類檢測(cè)器同步檢測(cè)模型 數(shù)據(jù)預(yù)處理 仿真實(shí)驗(yàn) 結(jié)束語和展望