信息熵在圖像處理特別是圖像分割和圖像配準中的應(yīng)用——信息與計算科學畢業(yè)論文VIP

1、摘要摘要 信息論是人們在長期通信實踐活動中，由通信技術(shù)與概率論、隨機過程、數(shù)理統(tǒng) 計等學科相結(jié)合而逐步發(fā)展起來的一門新興交叉學科。而熵是信息論中事件出現(xiàn)概率 的不確定性的量度，能有效反映事件包含的信息。隨著科學技術(shù)，特別是信息技術(shù)的 迅猛發(fā)展，信息理論在通信領(lǐng)域中發(fā)揮了越來越重要的作用，由于信息理論解決問題 的思路和方法獨特、新穎和有效，信息論已滲透到其他科學領(lǐng)域。隨著計算機技術(shù)和 數(shù)學理論的不斷發(fā)展，人工智能、神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊理論的不斷完善，信息 理論的應(yīng)用越來越廣泛。在圖像處理研究中，信息熵也越來越受到關(guān)注。為了尋找快 速有效的圖像處理方法，信息理論越來越多地滲透到圖像處理技術(shù)中。

2、本文通過進一 步探討概論率中熵的概念，分析其在圖像處理中的應(yīng)用，通過概念的分析理解，詳細 討論其在圖像處理的各個方面：如圖像分割、圖像配準、人臉識別，特征檢測等的應(yīng) 用。 本文介紹了信息熵在圖像處理中的應(yīng)用，總結(jié)了一些基于熵的基本概念，互信息 的定義。并給出了信息熵在圖像處理特別是圖像分割和圖像配準中的應(yīng)用，最后實現(xiàn) 了信息熵在圖像配準中的方法。 關(guān)鍵詞：關(guān)鍵詞：信息熵，互信息，圖像分割，圖像配準 abstract information theory is a new interdisciplinary subject developed in people long-term commun

3、ication practice, combining with communication technology, theory of probability, stochastic processes, and mathematical statistics. entropy is a measure of the uncertainty the probability of the occurrence of the event in the information theory, it can effectively reflect the information event cont

4、ains. with the development of science and technology, especially the rapid development of information technology, information theory has played a more and more important role in the communication field, because the ideas and methods to solve the problem of information theory is unique, novel and eff

5、ective, information theory has penetrated into other areas of science. with the development of computer technology and mathematical theory, continuous improvement of artificial intelligence, neural network, genetic algorithm, fuzzy theory, there are more and more extensive applications of informatio

6、n theory. in the research of image processing, the information entropy has attracted more and more attention. in order to find the fast and effective image processing method, information theory is used more and more frequently in the image processing technology. in this paper, through the further di

7、scussion on concept of entropy, analyzes its application in image processing, such as image segmentation, image registration, face recognition, feature detection etc. this paper introduces the application of information entropy in image processing, summarizes some basic concepts based on the definit

8、ion of entropy, mutual information. and the information entropy of image processing especially for image segmentation and image registration. finally realize the information entropy in image registration. keywords： information entropy, mutual information, image segmentation, image registration 目目 錄錄

9、 摘 要.1 abstract.2 目 錄.3 1 引言.5 1.1 信息熵的概念 .5 1.2 信息熵的基本性質(zhì)及證明 .6 1.2.1 單峰性.6 1.2.2 對稱性.7 1.2.3 漸化性.7 1.2.4 展開性.7 1.2.5 確定性.8 2 基于熵的互信息理論.9 2.1 互信息的概述.9 2.2 互信息的定義.9 2.3 熵與互信息的關(guān)系.9 3 信息熵在圖像分割中的應(yīng)用.11 3.1 圖像分割的基本概念.11 3.1.1 圖像分割的研究現(xiàn)狀.11 3.1.2 圖像分割的方法.11 3.2 基于改進粒子群優(yōu)化的模糊熵煤塵圖像分割.12 3.2.1 基本粒子群算法.12 3.2.2

10、改進粒子群優(yōu)化算法.13 3.2.3 morlet 變異.13 3.2.4 改建粒子群優(yōu)化的圖像分割方法.14 3.2.5 實驗結(jié)果及分析.16 3.3 一種新信息熵的定義及其在圖像分割中的應(yīng)用.19 3.3.1 香農(nóng)熵的概念及性質(zhì).19 3.3.2 一種信息熵的定義及證明.19 3.3.3 信息熵計算復(fù)雜性分析.21 3.3.4 二維信息熵閾值法.22 3.3.5 二維信息熵閾值法的復(fù)雜性分析.24 3.3.6 結(jié)論及分析.25 4 信息熵在圖像配準中的應(yīng)用.27 4.1 圖像配準的基本概述 .27 4.2 基于互信息的圖像配準 .27 4.3 powell算法.28 4.4 變換 .28

11、4.4.1 平移變換.29 4.4.2 旋轉(zhuǎn)變換.30 4.5 基于互信息的圖像配準的設(shè)計與實現(xiàn) .31 4.5.1 總體設(shè)計思路和圖像配準實現(xiàn) .31 4.5.2 直方圖.33 4.5.3 聯(lián)合直方圖.33 4.5.4 灰度級差值技術(shù).34 4.4.5 優(yōu)化搜索辦法級結(jié)論.35 5 結(jié) 語.37 致 謝.38 參考文獻.39 1 引言引言 1.1.信息熵的概念信息熵的概念 1948年，美國科學家香農(nóng)(ceshannon)發(fā)表了一篇著名的論文通信的數(shù)學理 論。他從研究通信系統(tǒng)傳輸?shù)膶嵸|(zhì)出發(fā)，對信息做了科學的定義，并進行了定性和 定量的描述。 他指出，信息是事物運動狀態(tài)或存在方式的不確定性的描述

12、。其通信系統(tǒng)的模型如 下所示： 信信 源源編編 碼碼信信 道道 信號信號 解解 碼碼信信 宿宿 干干 擾擾 噪噪 聲聲 圖 1.1 信息的傳播 信息的基本作用就是消除人們對事物的不確定性。信息熵是信息論中用于度量 信息量的一個概念。 假定是隨機變量的集合，表示其概率密度，計算此x)(xp 隨機變量的信息熵的公式是：)(xh x xpxpxh)(log)()( 表示一對隨機變量的聯(lián)合密度函數(shù)，他們的聯(lián)合熵可以表示為：),(yxp),(yxh ),(log),(),(yxpyxpyxh yyx 信息熵描述的是信源的不確定性，是信源中所有目標的平均信息量。信息量是信息 論的中心概念，將熵作為一個隨機

13、事件的不確定性或信息量的量度，它奠定了現(xiàn)代信 息論的科學理論基礎(chǔ)，如果一條信息是由個字符連成的字符串組成，并且每個字符n 有種可能，那么這條信息就有種不同的排列情況，那么可以用度量信息量，m n m n m 但這時的信息量隨著消息的長度按指數(shù)增加，為了使信息量的度量值按線性增加，n hartley 給出了取對數(shù)的信息量的定義： (1.1)mnmh n 22 loglog 由上式可以看出，信息量隨著消息的可能性組合增多而增多，如果消息只有一m 種可能性時即事件為必然事件時，那么消息中包含的信息量為零。因此可以01log2 看出，可能收到的不同消息越多，對收到哪條消息的不確定性就越大;相反，收到只

14、有 一種可能性的消息，不確定性為零，hartley 對消息的度量實際是對不確定性的度量。 hartley 度量方法的不足之處是他所定義信息量是假定所有符號發(fā)生的概率相同， 但實際情況各符號并不一定都等概發(fā)生，為此，shannon 用概率加權(quán)來衡量消息出現(xiàn)的 可能性，對 hartley 的度量方法做出改進。 設(shè)某一隨機過程中有 k 種可能的情況，每種情況發(fā)生的概率分別是， 1 p 2 p ，shannon 給出了熵的如下定義： k p (1.2) ii i i pp p ph 22 log 1 log 當所有可能的事件均以相等的概率發(fā)生時，上式就成了 hartley 定 義的熵，并且這 時熵取得

15、最大值，即 (1.3) nn nnn mm mmm h 222 loglog 11 log 1 所以，hartley 熵是,shannon 熵的特殊情形，而 shannon 更具有一般性。 shannon 熵包含三種含義：第一種含義是度量信息量，事件發(fā)生概率與獲得的信息 量成反比，即概率越大，信息量越少，又由式(1.3)知，概率越大，信息量越少，熵越 小，所以可用熵的大小來度量信息量，熵越大，信息量越大;第二是度量事件概率分布 的分散度，概率集中分布時熵值小，分散性越強，熵越大；三含義是度量事件發(fā)生的 不確定性，概率越大，事件的不確定性越小，熵越小。利用上面第三個含義，可以用 shannon

16、熵，來度量圖像包含的信息量，圖像灰度值的概率分布是每灰度值出現(xiàn)的次數(shù) 除以圖像中所有灰度值出現(xiàn)的總次數(shù)，此時圖像的信息量可依據(jù)這個概率分布來計算， 一幅圖像中不同的灰度值較少，各灰度值出現(xiàn)的概率較高，則對應(yīng)的灰度值較低，意 味著這幅圖像含有的信息量很少。反之，如果一幅圖像中含有很多不同的灰度值，且 各灰度值發(fā)生的概率又基本一致，則它的熵值會很高，那么這幅圖像包含的信息量很 大。 1.2 信息熵的基本性質(zhì)及證明信息熵的基本性質(zhì)及證明 1.2.1單峰性單峰性 信息熵的單峰性可表述為：先考察由、兩個事件構(gòu)成的概率系統(tǒng)，其產(chǎn)生 1 x 2 x 的概率分別為和則該系統(tǒng)的信息pp-1).1 (log)1

17、(log( 22 pppph 通過求極限 不難證明：0loglim 2 0 xx x (1) 當時，這是一種產(chǎn)生的概率為0，0p . 0 )01 (log)01 (log0( 22 h 1 x 產(chǎn)生的概率為1 的確定系統(tǒng)。 2 x (2) 當時這是一種產(chǎn)生的概率為1，1p . 0 )11 (log) 11 (1log1 ( 22 h 1 x 產(chǎn)生的概率為0 的確定系統(tǒng)。 2 x (3) 對函數(shù)可以通過求導數(shù)的方式尋找其極值).1 (log)1 (log( 22 pppph 點。該函數(shù)的一階導數(shù)為令則有，求得. )1 ( log2 p p dp dh 0 dp dh p p)1 ( log2 0

18、 為該函數(shù)的駐點。因為二階導數(shù) 當時，恒 2 1 p, 2ln)1 ( 1 2 2 ppdp hd 10 p 2 2 dp hd 小于0 ， 所以當時函數(shù)有極大值。這說明當、兩事件產(chǎn)生的概率相同時， 2 1 p 1 x 2 x 具有最大值，這是一種不確定性最大的不確定系統(tǒng)。h (4) 若概率系統(tǒng)中有個事件，當每一事件產(chǎn)生的概率相同（均為）時，則系nn/1 統(tǒng)的信息熵具有最大值。該結(jié)論可以通過以下的討論來證明：h 具有個事件的概率系統(tǒng)其信息熵可表示為，這是在約束條件n n i ii pph 1 2 log 下的極值問題。應(yīng)用因子法，設(shè)： n i i p 1 1 n i n i iii ppph

19、11 20 ).1(log 將對事件的概率求一階偏導數(shù)，并令使用約束條件確定 0 h 1 x i p0 0 i p h n i i p 1 1 值，可求得（常數(shù)）。同理有（常數(shù)），即當 n pi 1 n ppp n 1 21 時，有極大值。 n ppp n 1 21 h 1.2.2 對稱性對稱性 信息熵的對稱性可表述為：設(shè)某一概率系統(tǒng)中n 個事件的概率分布為 ),( 21n ppp 當對事件位置的順序進行任意置換后，得到新的概率分布為，并有以下關(guān)),( 21n ppp 系成立： ).,(),( 2121nn ppphppph 它表示概率系統(tǒng)中事件的順序雖不同，但概率系統(tǒng)的熵h 是不變的，即概率

20、系統(tǒng) 的熵與事件的順序無關(guān)。 1.2.3 漸化性漸化性 信息熵的漸化性可表述為：設(shè)概率為的事件可分解為概率分別為和)(rqpnq 的兩個事件，則有：r ).,()(),( ),(),( 121 121121 rq r rq q hrqrqppph rqpppphpppph n nnnn 1.2.4 展開性展開性 信息熵的展開性可表述為：設(shè)某一概率系統(tǒng)的概率分布為則系統(tǒng)的信),( 21n ppp 息熵具有展開性質(zhì)： ). 0 , ,(),( 2121nn ppphppph 在此基礎(chǔ)上，進一步展開有： ),( 21n ppph).0, 0 ,( 21 n ppph 根據(jù)上述展開性不難證明。, 0)

21、log(lim 2 0 pp p 1.2.5 確定性確定性 信息熵的確定性可表述為：設(shè)信息系統(tǒng)中，任一事件產(chǎn)生的概率為1，則其他事件 產(chǎn)生的概率為0。這是一種確定的系統(tǒng)，對于這樣的系統(tǒng)有： , 0) 1 , 0()0 , 1 ( hh . 0 ) 1 , 0 , 0() 0 , 0 , 1 , 0 , 0() 0 , , 0 , 1 (hhh 根據(jù)很容易證明上述性質(zhì)。, 0)log(lim 2 1 pp p 2 基于熵的互信息理論基于熵的互信息理論 2.1 互信息的概述互信息的概述 互信息（mutual information）來自于信息論，是信息論中的一個基本概念，是兩 個隨機變量統(tǒng)計相關(guān)性

22、的測度。當兩幅圖像達到最佳配準，它們對應(yīng)像素的灰度互信 息應(yīng)達到最大。該測度不需要對不同成像模式下圖像灰度間的關(guān)系作任何假設(shè)，也不 需要對圖像進行分割或任何預(yù)處理，具有自動化程度高的特點。因此，最近幾年將互 信息作為圖像配準過程的相似性測度，利用最大互信息法進行圖像配準成為了圖像處 理領(lǐng)域的研究熱點。 互信息是基于概率統(tǒng)計論提出的，具有統(tǒng)計特性，它被多數(shù)研究者公認為是一個 很好的圖像配準準則，許多圖像配準算法的研究均是在互信息的基礎(chǔ)上加以改進的。 互信息作為醫(yī)學圖像配準的一個相似性測度，多模態(tài)醫(yī)學圖像的配準很實用，其配準 原理是兩幅基于共同人體解剖結(jié)構(gòu)的圖像在配準時具有最大的互信息值。 2.2

23、 互信息定義互信息定義 定義定義1：隨機變量和之間的互信息定義為：xy);(yxi )|()();(yxhxhyxi 或定義互信息為：);(xyi )|()();(xyhyhxyi 可以證明二者是相等的，即=。因此，和是隨機變量);(xyi);(yxi);(yxi);(xyi 和之間相互提供的信息。xy 另一種定義另一種定義：也可以采用直接定義與之間的互信息為：xy k k j j jk jk jk bpap bap bapyxi 11 )()( ),( log),();( =)()(/ ),(log(),()()(| ),(ypxpyxpyxeypxpyxpd 可直接導出及)()()(),(

24、xyhyhxhyxi).(),(min();(0yhxhyxi 2.3 熵與互信息的關(guān)系熵與互信息的關(guān)系 (1) 獨立：，有)()|()()|(yhxyhxhyxh，0);(yxi (2) 確定：，則.0)|(,xyhyx)();(xhyxi 從而，互信息是隨機變量之間相互依存度的度量信息。 互信息是信息論中的一個基本概念，通常用于描述兩個系統(tǒng)間的相關(guān)性，或者是 一個系統(tǒng)中所包含的另一個系統(tǒng)信息的多少，是兩個隨機變量和之間統(tǒng)計相關(guān)性ab 的量度，或是一個變量包含另一個變量的信息量的量度。 它可以用熵和來描述以及聯(lián)合熵，)(ah)(bh),(bah (2.1)|()()|()(),()()(),

25、(abhbhbahahbahbhahbai 其中和分別是系統(tǒng)和的熵，是，的聯(lián)合熵，表示)(ah)(bhab),(bahab)|(abh 一直系統(tǒng)時的條件熵和一直系統(tǒng)時的條件熵。上述各種熵可分別表示為：abba (2.2) a aa apapah)(log)()( 2 (2.3) b bb bpbpbh)(log)()( 2 (2.4) ba abab bapbapbah , 2 ),(log),(),( (2.5) ba baab bapbapbah , |2 )|(log),()|( (2.6) ba abab abpbapabh , |2 )|(log),()|( 其中， 和分別是系統(tǒng)和系

26、統(tǒng)完全獨立時的邊緣概bbaa,)(apa)(bpbab 率密度，是系統(tǒng)和的聯(lián)合概率分布，是已知系統(tǒng)時的條件),(bapabab)|( | abp ab ba 概率分布，是已知系統(tǒng)時的條件概率分布，如果聯(lián)合概率分布密度)|( | bap ba ba 滿足，則隨機變量和相互獨立;如果和滿足某映),(bapab)()(),(bpapbap baab abab 射關(guān)系使，則隨機變量和最大相關(guān)。t)(,()()(atapatpap abba ab 在通信系統(tǒng)中，信源和信宿是相互聯(lián)系的，因此，收到的條件下，對信源xyy 具有一定的了解，但仍然對有不確定度，即條件熵，但總小于絕對熵xx)(yxh 。對信源的

27、了解程度（確定度）為得到結(jié)論：差值度量了確)(xhx)()(yxhxh 定度。同樣，在確值信源發(fā)送x的條件下，差值度量了對的了解程度。)|()(xyhyhy 3 信息熵在圖像分割中的應(yīng)用信息熵在圖像分割中的應(yīng)用 3.1 圖像分割的基本概念圖像分割的基本概念 圖像分割是圖像處理和分析的關(guān)鍵步驟，也是一種基本的計算機視覺技術(shù)。當今 信息熵主要應(yīng)用在圖像分割技術(shù)中。為了識別和分析目標，圖像分割把圖像分各具特 性的區(qū)域。這些特性可以是灰度、顏色、紋理等，目標可以對應(yīng)單個區(qū)域，也可以對 應(yīng)多個區(qū)域?；陟氐膱D像分割方法，盡可能減少了圖像信息的損失，因此可用于復(fù) 雜背景，而且這種方法有很多。隨著計算機技術(shù)

28、和數(shù)學理論的不斷發(fā)展，人工智能、 神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊理論的不斷完善，以及處理的圖像越來越復(fù)雜，單一的方 法已不能滿足人們的需求，因此，研究多方法的結(jié)合是這一領(lǐng)域的趨勢。 3.1.1 圖像分割的研究現(xiàn)狀圖像分割的研究現(xiàn)狀 圖像分割是圖像處理中的一項關(guān)鍵技術(shù)，也是一經(jīng)典難題，自 20 世紀 70 年代起 一直受到人們的高度重視，至今已提出了上千種分割算法。但發(fā)展至今仍沒有找出一 個通用的分割理論，現(xiàn)提出的分割算法大都是針對具體問題的，并沒有一種適合所有 圖像的通用分割算法。另外，也還沒有制定出判斷分割算法好壞和選擇適用分割算法 的標準，這給圖像分割技術(shù)的應(yīng)用帶來許多實際問題。 3.1.2 圖

29、像分割的方法圖像分割的方法 (1) 基于閾值的分割 這是一種最常用的區(qū)域分割技術(shù)，閾值是用于區(qū)分不同目標的灰度值。如果圖像 只有目標和背景兩大類，那么只需選取一個閾值稱為單閾值分割。這種方法是將圖像 中每個像素的灰度值和閾值比較，灰度值大于閾值的像素為一類，灰度值小于閾值的 像素為另一類。如果圖像中有多個目標，就需要選取多個閾值將各個目標分開，這種 方法稱為多閾值分割。為區(qū)分目標還需要對多個區(qū)域進行標記。閾值又可分為全局閾 值，局部閾值和動態(tài)閾值，閾值分割的結(jié)果依賴于閾值的選取，確定閾值是閾值分割 的關(guān)鍵，閾值分割實質(zhì)上就是按照某個標準求出最佳閾值的過程。常用的全局閾值選 取方法有利用圖像灰度

30、直方圖的峰谷法，最小誤差法，最大類間方差法，最大熵自動 閾值法以及其他一些方法。 (2) 基于區(qū)域的分割 基于區(qū)域的分割技術(shù)有兩種基本形式：區(qū)域生長和分裂合并。前者是從單像素出 發(fā)，逐漸合并以形成所需的分割結(jié)果。后者是從整個圖像出發(fā)，逐漸分裂或合并以形 成所需要的分割結(jié)果。與閾值方法不同，這類方法不但考慮了像素的相似性，還考慮 了空間上的鄰接性，因此可以有效地消除孤立噪聲的干擾，具有很強的魯棒性。而且， 無論是分裂還是合并，都能將分割深入達到像素級。 (3) 基于邊緣的分割 基于邊界的分割方法是利用不同區(qū)域間像素灰度不連續(xù)的特點檢測出區(qū)域間的邊 緣，從而實現(xiàn)圖像分割。邊界的像素灰度值變化往往比

31、較劇烈。首先檢測圖像中的邊 緣點，在按一定策略連接成輪廓，從而構(gòu)成分割區(qū)域。邊緣檢測技術(shù)可以按照處理的 順序分為串行邊緣檢測及并行邊緣檢測。在穿性邊緣檢測中，當前像素點是否屬于欲 檢測的邊緣取決于先前像素的驗證結(jié)果；而在并行邊緣檢測技術(shù)中，一個像素點是否 屬于欲檢測的邊緣，取決于當前正在檢測的像素點以及該像素點的一些相鄰像素點， 這樣該模型可以同時用于檢測圖像中的所有像素點。 3.2 基于改進粒子群優(yōu)化的模糊熵煤塵圖像分割基于改進粒子群優(yōu)化的模糊熵煤塵圖像分割 對煤塵圖像進行有效的分割是煤塵濃度測量的重要研究內(nèi)容之一，在煤塵圖像分 析和識別中具有重要意義。閾值法是最常用的圖像分割方法，其關(guān)鍵是

32、閾值的選取， 用圖像灰度模糊熵來確定分割閾值是一種有效的閾值確定方法。圖像灰度模糊熵中模 糊參數(shù)的尋優(yōu)實際上是一個優(yōu)化問題。解決優(yōu)化問題的方法通常有窮舉法、遺傳算法、 蟻群算法、粒子群算法等，其中kennedy 和eberhart提出的粒子群優(yōu)化算法(pso) 因其 優(yōu)越性而成為研究的熱點。普通粒子群優(yōu)化算法存在易陷入局部最優(yōu)以及過早收斂的 缺點， 使得該算法難以得到理想的優(yōu)化效果。近年來出現(xiàn)了不少改進的pso 算法， 改進算法主要有對慣性因子的改進，以及引入遺傳算法中的交叉、變異或進化思想對 部分粒子進行相應(yīng)的操作。li等人提出的高斯變異粒子群(gmpso) 算法取得了不錯的 分割效果，但該

33、算法的分割精度還有待進一步提高。用一種綜合morlet 變異和慣性因 子自適應(yīng)的改進粒子群優(yōu)化算法，讓該算法和模糊熵結(jié)合應(yīng)用于圖像分割，利用改進 粒子群優(yōu)化(ipso) 算法來搜索，使模糊熵最大時的參數(shù)值得到模糊參數(shù)的最優(yōu)組合， 進而確定圖像的分割閾值。實驗結(jié)果表明，該算法取得了令人滿意的分割結(jié)果，算法 運算時間較小，能滿足對煤塵濃度實時精確測量的要求。 3.2.1 基本粒子群算法基本粒子群算法 粒子群優(yōu)化(pso) 算法是一種進化計算技術(shù)，最早由kenney 和eberhart 于1995 年提出的。源于對鳥群捕食行為研究的pso 算法同遺傳算法類似，是一種基于迭代的 優(yōu)化工具。在pso 算

34、法中，每個個體稱為粒子，所有的粒子都有一個由被優(yōu)化的函數(shù) 決定的適應(yīng)值，每個粒子還有一個速度決定他們飛翔的方向和距離，然后粒子就追隨 當前的最優(yōu)粒子在解空間搜索。假定粒子規(guī)模為搜索空間為維，則第 個粒子的nmi 位置表示為，第 個粒子的速度表示為，每個粒子),( 21imiii xxxxi),( 21imiii vvvv 具有最好適應(yīng)值的位置稱為個體最好位置，記為，整個種群中的最),( 21imiii pppp 好適應(yīng)值位置稱為全局最好位置，記為。 在找到這兩個最優(yōu)值時，),( 21gmggg pppp 每個粒子根據(jù)如下公式來更新自己的速度和位置： (3.1) ),()()()()() 1(

35、21 txtprandctxtprandctwvtv ijgjijijijij (3.2).1()() 1(tvtxtx ijijij 其中： 表示第 個粒子；表示粒子的第維； 表示第 次迭代；為加速常iijjtt 21,c c 數(shù)，通常在間取值；為均勻分布在(0， 1) 上的隨機數(shù)；為慣性因子。20()rand 3.2.2 改進粒子群優(yōu)化算法改進粒子群優(yōu)化算法 普通粒子群優(yōu)化算法存在易陷入局部最優(yōu)以及過早收斂的缺點，使得該算法難以 得到理想的優(yōu)化效果。近年來出現(xiàn)了不少改進的pso 算法，改進算法主要有對慣性因 子的改進，以及引入遺傳算法中的交叉、變異或進化思想對部分粒子進行相應(yīng)的操作。 本文

36、針對慣性因子的改進提出了慣性因子自適應(yīng)算法，同時引入了morlet 變異操作， 克服了普通粒子群優(yōu)化算法存在易陷入局部最優(yōu)以及過早收斂的缺點。慣性因子自適 應(yīng)粒子群算法，當粒子群中大多數(shù)粒子在連續(xù)的迭代中未找到最優(yōu)值前停止更新時， 就會出現(xiàn)過早收斂的現(xiàn)像。當慣性因子較小或固定時也會出現(xiàn)這種現(xiàn)像，從式(3.1) 可以看出， 當較小并且 和很小時，也很小，)(tvij)()(txtp ijij )()(txtp ijgj ) 1( tvij 即相應(yīng)的粒子失去搜索能力。這種情況通常會出現(xiàn)在當粒子本身是全局最優(yōu)時即 和等于零時的迭代早期階段，這樣在以后的迭代中粒子就失)()(txtp ijij )()

37、(txtp ijgj 去了多樣性。為了解決該問題，一般將設(shè)為： (3.3)./ )( maxminmax tt axm 其中：表示總迭代次數(shù)，和分別表示最大和最小慣性因子。本文對上 max t max min 述方法作了改進，根據(jù)粒子距離全局最優(yōu)值之間的距離對進行調(diào)節(jié)，即 (3.4)./(1 ( max0 distdisti 其中：為當前粒子距離全局最優(yōu)值之間的歐幾里得距離，即 i distrand；) 1 , 5 . 0( 0 (4)為最大距離。這樣對進行調(diào)節(jié)能保證粒子在偏； 2/1 1 ) )( n j ijgji xpdist max dist i dist 離全局最優(yōu)時，粒子和全局最優(yōu)

38、值之間的吸引力將保證粒子不會偏離最優(yōu)值太遠，從 而避免出現(xiàn)過早收斂的現(xiàn)像。 3.2.3 morlet 變異變異 為了克服過早收斂，還有一種方法就是引入遺傳算法中的變異操作，即當用基本 pso 算法對粒子的位置和速度進行更新后，再對部分粒子進行變異操作，使得粒子種 群呈現(xiàn)多樣性。 一般可用均勻變異或非均勻變異來進行變異操作，natsuki引入了高斯 變異操作，有： (3.5).(1 ()()(gaussiantxtxmut ijij 其中：為高斯變異后的位置；為的高斯分布，)(gaussian).1 , 0 ( natsuki 指出可以對粒子以一定概率進行高斯變異，也可以當粒子的位置停止更新 時

39、進行高斯變異。本文中的morlet變異能對粒子起到微調(diào)的作用， 每個粒子變異的概率為的大小根據(jù)粒子群的維數(shù)決定。morlet 變異 mm pp,1 , 0 的方程式如下： (3.6) . 0 ),)()( ; 0),()( )( min max xtxtx txxtx txmut ijij ijij ij 其中：為變異后的，和分別為的最大最小值，的計算)(txmut ij )(txij max x min xx 公式如下： (3.7).(5cos( 1 2 2 )( a a e a 其中： ,5 . 2 ,5 . 2aa (3.8). )ln()1)(ln( max g t t g wm ea

40、 這里： 為上式單調(diào)遞增方程的形狀參數(shù)，為的上限值， 為當前迭代次wmgat 數(shù)， 為最大迭代次數(shù)。 max t 3.2.4 改進粒子群優(yōu)化的模糊熵圖像分割算法改進粒子群優(yōu)化的模糊熵圖像分割算法 圖像的最大模糊熵： 根據(jù)模糊理論，圖像可看成是一個模糊事件。根據(jù)模糊熵理論，若分割閾值nm 將原始圖像的像素分成黑和亮兩個模糊集，則這兩個集合的隸屬函數(shù)和t)(),(kk bd 模糊熵分別為： (3.9) .0 )()( )()( )( 1 , 1 )( 2 2 kc ckb bcac ck bka abac ak ak k d ， ；， ）（ ；， ； (3.10) .1 )()( 1 )()( )

41、( , 0 )( 2 2 kc ckb bcac ck bka abac ak ak k b ， ；， ）（ ；， ； (3.11). )( ln )( 255 0 k d dk d dk d p kp p kp h (3.12). )( ln )( 255 0 k b bk b bk b p kp p kp h 其中：參數(shù)滿足 這里為cba，2250cba)/(2/ )(nmnpcab kk ； k n 中元素的個數(shù)。模糊事件的總模糊熵： k d (3.13).)( bd hhcah， 由熵理論可知，為了實現(xiàn)目標與背景的最佳分割，模糊事件的模糊熵應(yīng)為最大， 即得到使總模糊熵達到最大值時對應(yīng)，

42、并據(jù)此確定最優(yōu)閾值 k d)(cah，)( optopt ca ， (3.14) . 2 / )( optoptoptopt cabt 改進粒子群優(yōu)化的模糊熵圖像分割算法：根據(jù)最大模糊熵原理，基于最大模糊熵 的圖像分割算法其本質(zhì)是在圖像的整個灰度空間上搜索一組參數(shù)使圖像的總模)(ca， 糊熵取最大值的優(yōu)化問題。并且將改進粒子群優(yōu)化(ipso) 算法用于搜索一組最優(yōu)參數(shù) ，提高了算法的分割性能。)(ca， 算法的基本步驟如下： step 1： 初始化。初始化粒子群的位置矩陣和速度矩陣，設(shè)定粒子群規(guī)模xvn 和維數(shù)(由于需尋優(yōu)2 個參數(shù)，)，設(shè)定 d2d (3.15)，)()( minmaxmin

43、 randxxxxij (3.16)， 2 22 12 1 21 11 nn x x x x x x x (3.17)，)(2 maxmax randvvvij (3.18). 2 22 12 1 21 11 nn v v v v v v v 其中：為均勻分布在(0， 1) 上的隨機數(shù)；為 的最大值;和分別為)(rand max vv max x min x 的最大、最小值，一般取，這里和 分別為圖像的x1 minminmaxmax lxlx， max l min l 最大、最小灰度。 step 2： 選擇式(3.13) 作為粒子群算法的適應(yīng)度函數(shù)，計算粒子群中每個粒子的 適應(yīng)值， 并根據(jù)適應(yīng)

44、值選擇每個粒子的當前最好位置pi 和粒子群的全局最好位置。 g p step 3： 根據(jù)式(3.3) 計算權(quán)重因子， 再根據(jù)式(3.1) 和(3.2) 更新粒子的速度和 位置。 step 4： 根據(jù)式(3.6) 以一定概率對部分粒子進行morlet 變異。 step 5： 若達到最大迭代次數(shù)，則算法結(jié)束；否則，轉(zhuǎn)step 2。 step 6： 求出全局最優(yōu)解對應(yīng)的參數(shù)組合，計算分割閾值對圖像進 g p)(ca， opt t 行分割。 3.2.5 實驗結(jié)果及分析實驗結(jié)果及分析 利用本文算法對不同類型圖像進行分割實驗，并與其他算法的結(jié)果進行對比。實 驗中粒子群算法相關(guān)參數(shù)選擇如下：粒子群規(guī)模，維數(shù)

45、，最大迭代次10n2d ，普通pso 算法中的慣性因子，學習因子50 max t4 . 09 . 0 minmax ， .morlet變異參數(shù)為：隨即抽取50% 的粒子進行變異操作， 即變異概率4962 . 1 21 cc 實驗中采用的圖像分別為lena，boat，共3幅真實煤塵圖像，.10005 . 0，gpm2 wm 它們代表幾種 不同類型的圖 像。 (a) lena 圖像 (b) boat 圖像 (c) 煤塵圖像 1 (d) 煤塵圖像 2 (e) 煤塵圖像 3 圖 3.1 實驗圖像直方圖 它們的灰度直方圖，lena 圖像呈多峰模式；boat 圖像為明顯的雙峰; 3 幅煤塵圖 像為單峰模式

46、。利用本文(ipso) 算法和基本 pso 算法， (gmpso) 算法對 3 種不同 類型的圖像進行了分割效果比較實驗，實驗效果如圖 3.2 所示。圖 3.2 中，為原)(ai 始圖像；為基本 pso 算法的分割結(jié)果；為(gmpso) 算法的分割結(jié)果；為)(bi)(ci)(di 本文算法的分割結(jié)果， 由圖 3.2 的分割結(jié)果可以看出，本文算法的分割效 . 5 21，i 果優(yōu)于其他兩種算法，特別是在對具有單峰特性的第 3 幅煤塵圖像，本文算法的優(yōu)勢 非常明顯。 (a1) (b1) (c1) (d1) (a2) (b2) (c2) (d2) (a3) (b3) (c3) (d3) (a4) (b

47、4) (c4) (d4) 圖 3.2 實驗結(jié)果比較圖 表 3.1 列出了不同算法的分割閾值、運算時間以及廣泛使用的無差異測量。無差 異測量定義為 (3.19). )( )( 21 2 minmax 0 2 llnm y cu c jrj jj j 其中： 為閾值數(shù)量，為 j 階分割區(qū)域，為像素 的灰度值，為 j 階分割區(qū)域c j r i yi j 灰度平均值，為圖像總的像素點，和為圖像的最大最小灰度值。nm max l min l ，越接近于 1 說明分割效果越好。由表 1 可以看出，本文提出的 ipso 分 uu， 10 割算法在閾值和分割性能指標上具有明顯的優(yōu)勢，同時運算時間也相應(yīng)增加，但

48、運算 時間最大也在之內(nèi)，完全能滿足實時精確分割的要求，為煤塵濃度的實時精確ms250 測量打下了堅實的基礎(chǔ)。 表 3.1 本文算法與其他算法進行圖像分割性能比較 圖像圖像算法算法閾值閾值時間時間/sum lena 256256 pso gmpso ipso 134.6105 130.8517 121.7496 0.075 0.078 0.194 0.9764 0.9773 0.9787 boatpso160.02000.0780.9577 512512gmpso ipso 156.8155 144.6209 0.094 0.109 0.9647 0.9752 coal dust 1 51251

49、2 pso gmpso ipso 110.4098 108.3135 102.5000 0.098 0.125 0.235 0.9670 0.9782 0.9989 coal dust 2 512512 pso gmpso ipso 117.8226 115.0620 111.9050 0.101 0.132 0.234 0.9680 0.9784 0.9989 coal dust 3 512512 pso gmpso ipso 114.0127 111.0235 1106.0174 0.110. 0.125 0.242 0.9662 0.9783 0.9984 針對基本粒子群算法存在易陷入局

50、部最優(yōu)以及過早收斂的問題，提出了一種基于 改進粒子群優(yōu)化的模糊熵圖像分割算法，用慣性因子自適應(yīng)粒子群來搜索使模糊熵最 大時的參數(shù)值，并對部分粒子進行 morlet 變異操作，得到模糊數(shù)的最優(yōu)組合，進而確 定圖像的分割閾值。實驗結(jié)果充分地表明，該算法對不同類型的圖像均能取得較好的 分割結(jié)果，且計算量較小，稍加改進即可在 dsp 等硬件上實現(xiàn)，因此能滿足對煤塵濃 度實時測量的要求。 3.3 一種新信息熵定義及其在圖像分割中的應(yīng)用一種新信息熵定義及其在圖像分割中的應(yīng)用 3.3.1 香農(nóng)熵的概念及性質(zhì)香農(nóng)熵的概念及性質(zhì) 離散概率分布，其中，滿足條件 ),( 21n pppp), 2 , 1(nipi,

51、 2 , 1( 10ipi 且。香農(nóng)在1948年提出了描述信息不確定性程度大小的量(簡稱為香農(nóng)熵) ),n1 1 ny i i p ，。它具有如下的典型性質(zhì)： ny i ii ppph 1 )log()( (1) 對于任意離散概率分布，則有 p)log()(0nph (2) 對于任意離散概率分布，則) 0 , , 0 , 1 , 0, 0 , 0(p0)(ph (3) 對于任意離散概率分布 ，則 ) 1 , 1 , 1 ( nnn p)log()(nph (4) 對于兩個獨立事件離散概率分則滿足。qp和)()()(qhphpqh 3.3.2 一種信息熵的定義及證明一種信息熵的定義及證明 從香農(nóng)

52、熵的表達式來看，因其含有對數(shù)運算導致計算所需時間較大，不利于基于 香農(nóng)熵的圖像分割方法在實時場合的使用。為了定義沒有對數(shù)運算的新息熵，這里首 先引入tsallis熵定義定義： (3.20) 1, 0),1( 1 1 )( 1 aap a ph n i a ia 當式（3.20）中的時，可以得到： 1a (3.21) n i iia ppph 1 )ln()(lim 這里對 tsallis 熵進行如下的修改： (3.22) 1, 0, )1 ( 1 )( 1 1 aanp aa ph n i aa ia 修改后的 tsallis 熵具有如下的性質(zhì)： (1) )log()ln()(lim 1 1

53、nppph n i iia a (2) (3.23) n i iia a nnppph 1 0 )ln()ln()(lim 然而(3.21)中有可能為零，需將(3.22)進一步修改為如下形式：), 1(nipi (3.24)1, 0),()1 ( )1 ( 1 )( 1 aaanp aa ph a i n i a 針對(3.24)式，它具有如下的性質(zhì)： (1) n i a ia aaanpph 1 1a 1, 0),()1()(lim (2) (3.25) n i ia a pph 1 0 1)1ln()(lim 為了定義非對數(shù)型信息熵，這里引入下面的定理。 定理定理 1：若是信息熵，那么函數(shù)

54、也是信息熵。)(ph)(exp(ph 證明：因指數(shù)函數(shù)是單調(diào)函數(shù)，且信息是有界函數(shù)，那么復(fù)合函數(shù))exp(n)(ph 也單調(diào)有界函數(shù)。對于離散概率分布，使得信息熵)(exp(ph)0, 0 , 1 , 0, 0 , 0(p 得到最小值，同樣也使得復(fù)合函數(shù)取最小值。)(ph)(exp(ph 對于離散概率分布 ，使得信息熵得到最大值，同樣也使得 nnn p 1 , 1 , 1 )(ph 復(fù)合函數(shù)取到最大值。總上所述，復(fù)合函數(shù)滿足信息熵最基本的)(exp(ph)(exp(ph 性質(zhì)。因此，它是一種信息熵。證畢。 根據(jù)本文修改的 tsallis 熵公式(3.25) 和定理 1，我們可以構(gòu)造如下新的信息

55、熵為： n i in pph 1 )1 ()( (3.26) 該新的信息熵中僅有加法和乘法運算，其計算量很顯然比香農(nóng)熵 tsallis 熵要少很 多。為了方便，將新信息熵表達式(3.26)簡稱為乘積型熵。它也具有如下典型性質(zhì)： (1) 對于任意離散概率分布 ，則有；pe n ph n n ) 1 1 ()(2 (2) 若任意離散概率分布的乘積型熵，當且僅當 p2)(phn)0, 0 , 1 , 0, 0 , 0(p (3) 對于任意離散概率分布的乘積型熵，當且僅當p n n n ph) 1 1 ()( nnn p 1 , 1 , 1 (4) 對于兩個獨立事件離散概率分布則有qp和)()()(q

56、hphpqh nnn 這表明，新信息熵是非可加性信息熵。可加性信息熵僅有香農(nóng)熵和 renyi 熵，其 它諸如 tsallis 熵、kapur 熵、taneja 熵等眾多信息熵都屬于非可加性信息熵范疇。 下面給出乘積型熵性質(zhì)的證明。其具體過程如下：)(phn 證明：(1) 因 又因)(phn n i n i n i n ij j n i n ij j n ij k n i ikjijiii pppppppp 11111111 1)1 ( 且，所以有：), 2 , 1( , 10nipi n i i p 1 1 成立。 2)(phn n i n ij j jip p 11 n i n ij j n

57、 ij k n i ikji pppp 1111 2 又因算術(shù)平均和幾何平均之間滿足不等關(guān)系式，若那么 ), 2 , 1( , 0kia ，因此，成立。綜上所 k n i n i ii kaa 11 n i in pph 1 )1 ()( n n n i i n n p n 1 )1 ( 1 1 述，不等式是正確的。又利用極限表達式，就有 n n n ph) 1 1 ()(2e n n n ) 1 1 (lim 成立。eph)(2 (2) 若任意離散概率分布則其相應(yīng)乘積型熵是很顯) 0 , , 0 , 1 , 0, 0 , 0(p2)(phn 然的。這里主要是證明任意離散概率分布的乘積型熵，則

58、該概率分布為p2)(phn 的成立。因，就有成立。又因) 0 , , 0 , 1 , 0, 0 , 0(p2)(phn n i i p 1 2)1 (, 10 i p 且。 則由), 2 , 1(ni n i i p 1 1 2)(phn n i n ij j jip p 11 n i n ij j n ij k n i ikji pppp 1111 可以得到。又因則20 111111 n i n ij j n i n ij j n ij k n i ikjiji pppppp), 2 , 1( , 0nipi 必有 且 ), 2 , 1,(), 2 , 1,(nkjipppijnjipp k

59、jiji 、且 n i i pkji 1 , 中必然有 個取值為 0。僅 1 個取值為 1 的結(jié)論。 ), 2 , 1(nipi1n (3) 若任意離散概率分布，則其相應(yīng)乘積型熵 是 nnn p 1 , 1 , 1 n n n ph) 1 1 ()( 很顯然的。這里主要是證明任意離散概率分布的乘積型熵 則該概p n n n ph) 1 1 ()( 率分布為時成立。 nnn p 1 , 1 , 1 因，可以得到： n n n ph) 1 1 ()( n i in pph 1 )1 ()( 成立，也即有 。定義目 n i i p 1 )1log( n n 1 1log0 1 1log)1log(

60、2 1 n i i n np 標函數(shù)在約束條件且 2 1 1 1log)1log()( n i i n nppf), 2 , 1( , 10nipi n i i p 1 下取得最小值為零的必要條件是其原因在于目標函數(shù)是變1), 2 , 1( 1 ni n pi)(pf 量 在定義域上的凸函數(shù)，以及目標函數(shù)對變 i p), 2 , 1(ni 1 , 0 1 , 0 1 , 0)(pf 量 的二階偏導數(shù)構(gòu)成的 hessian 矩陣是正的。因此，由 i p), 2 , 1(ni 必然得到成立。 n i i n np 1 1 1log)1log( nnn p 1 , 1 , 1 3.3.3 信息熵計算