第四章(SOM新)

19 42 1 自組織神經網絡的典型結構 第四章競爭學習神經網絡 19 42 2 第四章自組織神經網絡 自組織學習 self organizedlearning 通過自動尋找樣本中的內在規(guī)律和本質屬性 自組織 自適應地改變網絡參數與結構 自組織網絡的自組織功能是通過競爭學習 competitivelearning 實現的 19 42 3 4 1競爭學習的概念與原理 4 1 1基本概念分類 分類是在類別知識等導師信號的指導下 將待識別的輸入模式分配到各自的模式類中去 聚類 無導師指導的分類稱為聚類 聚類的目的是將相似的模式樣本劃歸一類 而將不相似的分離開 19 42 4 相似性測量 歐式距離法 4 1 1基本概念 同一類內各個模式向量間的歐式距離不允許超過某一最大值 19 42 5 相似性測量 余弦法 4 1 1基本概念 余弦法適合模式向量相同或模式特征只與向量方向相關的相似性測量 同一類內各個模式向量間的夾角不允許超過某一最大夾角 T 19 42 6 4 1 2競爭學習原理 競爭學習規(guī)則 Winner Take All 網絡的輸出神經元之間相互競爭以求被激活或點火 結果在每一時刻只有一個輸出神經元被激活或點火 這個被激活的神經元稱為競爭獲勝神經元 而其它神經元的狀態(tài)被抑制 故稱為WinnerTakeAll 勝者為王 19 42 7 競爭學習規(guī)則 Winner Take All 1 向量歸一化首先將當前輸入模式向量X和競爭層中各神經元對應的內星向量Wj全部進行歸一化處理 j 1 2 m 19 42 8 原始向量 19 42 9 歸一化后的向量 19 42 10 競爭學習原理 競爭學習規(guī)則 Winner Take All 2 尋找獲勝神經元當網絡得到一個輸入模式向量時 競爭層的所有神經元對應的內星權向量均與其進行相似性比較 并將最相似的內星權向量判為競爭獲勝神經元 19 42 11 從上式可以看出 欲使兩單位向量的歐式距離最小 須使兩向量的點積最大 即 競爭學習規(guī)則 Winner Take All 19 42 12 競爭學習規(guī)則 勝者為王 Winner Take All 3 網絡輸出與權值調整 j j 步驟3完成后回到步驟1繼續(xù)訓練 直到學習率衰減到0 獲勝神經元輸出為1 其余為0 19 42 13 競爭學習的幾何意義 19 42 14 競爭學習的幾何意義 19 42 15 解 為作圖方便 將上述模式轉換成極坐標形式 競爭層設兩個權向量 隨機初始化為單位向量 19 42 16 19 42 17 19 42 18 19 42 19 19 42 20 19 42 21 19 42 22 19 42 23 19 42 24 19 42 25 19 42 26 4 2自組織特征映射網 Self OrganizingfeatureMap 1981年芬蘭Helsink大學的T Kohonen教授提出一種自組織特征映射網 簡稱SOM網 又稱Kohonen網 Kohonen認為 一個神經網絡接受外界輸入模式時 將會分為不同的對應區(qū)域 各區(qū)域對輸入模式具有不同的響應特征 而且這個過程是自動完成的 自組織特征映射正是根據這一看法提出來的 其特點與人腦的自組織特性相類似 19 42 27 SOM網的生物學基礎 生物學研究的事實表明 在人腦的感覺通道上 神經元的組織原理是有序排列 因此當人腦通過感官接受外界的特定時空信息時 大腦皮層的特定區(qū)域興奮 而且類似的外界信息在對應區(qū)域是連續(xù)映象的 對于某一圖形或某一頻率的特定興奮過程 神經元的有序排列以及對外界信息的連續(xù)映象是自組織特征映射網中競爭機制的生物學基礎 19 42 28 SOM網的拓撲結構 SOM網共有兩層 輸入層模擬感知外界輸入信息的視網膜 輸出層模擬做出響應的大腦皮層 19 42 29 SOM網的權值調整域 SOM網的獲勝神經元對其鄰近神經元的影響是由近及遠 由興奮逐漸轉變?yōu)橐种?因此其學習算法中不僅獲勝神經元本身要調整權向量 它周圍的神經元在其影響下也要程度不同地調整權向量 這種調整可用三種函數表示 19 42 30 19 42 31 SOM網的權值調整域 以獲勝神經元為中心設定一個鄰域半徑 該半徑圈定的范圍稱為優(yōu)勝鄰域 在SOM網學習算法中 優(yōu)勝鄰域內的所有神經元均按其離開獲勝神經元的距離遠近不同程度地調整權值 優(yōu)勝鄰域開始定得很大 但其大小隨著訓練次數的增加不斷收縮 最終收縮到半徑為零 19 42 32 SOM網的運行原理 訓練階段 w1w2w3w4w5 19 42 33 SOM網的運行原理 工作階段 19 42 34 SOM網的學習算法 Kohonen學習算法 1 初始化對輸出層各權向量賦小隨機數并進行歸一化處理 得到 j 1 2 m 建立初始優(yōu)勝鄰域Nj 0 學習率 賦初始值 2 接受輸入從訓練集中隨機選取一個輸入模式并進行歸一化處理 得到 p 1 2 P 3 尋找獲勝節(jié)點計算與的點積 j 1 2 m 從中選出點積最大的獲勝節(jié)點j 4 定義優(yōu)勝鄰域Nj t 以j 為中心確定t時刻的權值調整域 一般初始鄰域Nj 0 較大 訓練過程中Nj t 隨訓練時間逐漸收縮 19 42 35 Kohonen學習算法 SOM網的學習算法 19 42 36 5 調整權值對優(yōu)勝鄰域Nj t 內的所有節(jié)點調整權值 i 1 2 nj Nj t 式中 是訓練時間t和鄰域內第j個神經元與獲勝神經元j 之間的拓撲距離N的函數 該函數一般有以下規(guī)律 Kohonen學習算法 SOM網的學習算法 19 42 37 5 調整權值 6 結束檢查學習率是否衰減到零或某個預定的正小數 Kohonen學習算法 SOM網的學習算法 19 42 38 Kohonen學習算法程序流程 19 42 39 功能分析 1 保序映射 將輸入空間的樣本模式類有序地映射在輸出層上 例1 動物屬性特征