信息的統(tǒng)計度量

第二章信息的統(tǒng)計度量Log(xy)=logx+logyLog(x/y)=logx-logy中學(xué)數(shù)學(xué)知識2.1自信息和條件自信息量定義2.1.1任意隨機事件的字信息量的定義為該事件發(fā)生概率的對數(shù)的負值。自信息量I(xi)的含義當事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；當事件xi發(fā)生以后，表示事件xi所提供的信息量；對于單個消息隨機變量U，出現(xiàn)某個消息，對應(yīng)概率為，這時可獲得的信息量為，則有：注：I－－自信息解釋：小概率事件，一當出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量就大；幾乎不可能事件一旦出現(xiàn)，將是一條爆炸性的新聞，一鳴驚人。大概率事件，是預(yù)料之中的，即使發(fā)生，也沒什么信息量，特別是當必然事件發(fā)生了，它不會給人以任何信息量。自信息量的單位自信息量的單位取決于對數(shù)的底；底為2，單位為“比特（bit）”；底為e，單位為“奈特（nat）”；底為10，單位為“哈特（hat）”；1nat=1.44bit,1hat=3.32bit；自信息量I(ai)的性質(zhì)I(ai)是非負值；當P(ai)=1時，I(ai)=0；當P(ai)=0時，I(ai)=∞；I(ai)是P(ai)的單調(diào)遞減函數(shù)I=-log2(1/2m)=m比特/符號條件自信息量滿足非負和單調(diào)遞減性。自信息、條件自信息和互信息p(xi):發(fā)送端發(fā)送xi的概率；I(X;yj)在整個集Y上的概率加權(quán)平均值。y1y2….信息熵的單位與公式中的對數(shù)取底有關(guān)。信息熵的單位與公式中的對數(shù)取底有關(guān)。I,J為樣本空間，并且上述熵值再對集合Y中的元素做統(tǒng)計平均，得條件熵：互信息量等于自信息量減去條件自信息量。2、當X和Y相互獨立時，互信息為0當X,Y相互獨立時，有：I(ai)是P(ai)的單調(diào)遞減函數(shù)I(ai)是P(ai)的單調(diào)遞減函數(shù)例：從26個英文字母中，隨即選取一個字母，則該事件的自信息量為

I=-log2(1/26)=4.7比特例：設(shè)m比特的二進制數(shù)中的每一個是等概率出現(xiàn)的(這樣的數(shù)共有2m個)，則任何一個數(shù)出現(xiàn)的自信息為:

I=-log2(1/2m)=m比特/符號計算信息量主要要注意有關(guān)事件發(fā)生概率的計算聯(lián)合自信息量XY上的元素（xy)的聯(lián)合自信息量定義為對集合X中所有元素統(tǒng)計平均，其熵為：性質(zhì)1：非負性HW(X)>=0當X,Y相互獨立時，有：加權(quán)熵為零，即HW（X)=0熵表示事件集合中事件發(fā)生后，每個事件提供的平均信息量；性質(zhì)2：若權(quán)重W1=W2=…Wn=WLog(x/y)=logx-logy條件熵是一個確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。p(y1)p(y2)….例：從26個英文字母中，隨即選取一個字母，則該事件的自信息量為a1a2理論推導(dǎo)中用以e為底較方便，這時單位為奈特（Nat）；自信息、條件自信息和互信息若pj=p(xj)=1,而pi=p(xi)=0(i=1,2,…,n；I,J為樣本空間，并且XY中，對事件xi和yj，事件xi

在事件yj給定的條件下的條件自信息量定義為在特定條件下(已定)隨機事件發(fā)生所帶來的信息量條件自信息量滿足非負和單調(diào)遞減性。例:甲在一個8*8的方格盤上隨意放入一個棋子，在乙看來是不確定的。(1)在乙看來，棋子落入某方格的不確定性為多少？（2）若甲告知乙棋子落入方格的行號，這時，在乙看來棋子落入某方格的不確定性為多少？聯(lián)合自信息量和條件自信息量關(guān)系當X和Y獨立時，信源信道信宿XY信源集合X的概率空間XP=x1x2…..p(x1)p(x2)…..YP=y1y2…..p(y1)p(y2)…..信宿收到的符號集合Y的概率空間X和Y，事件yj的出現(xiàn)給出關(guān)于事件xi的信息量，定義為互信息量。用表示，即互信息量等于自信息量減去條件自信息量。第三種表達方式：1、互信息量的互易性，即I(xi;yj)=I(yj;xi)2、當X和Y相互獨立時，互信息為03、互信息量可為正值或負值4、任何兩個事件之間的互信息量不可能大于之中任一事件的自信息量自信息、條件自信息和互信息I(xk)I(yj)I(xk;yj)2.2.3條件互信息量XYZ中，給定條件zk的條件下，xi與yj之間的互信息量，其定義式另外，聯(lián)合集合XYZ中還存在xi與yjzk之間的互信息量，其定義式或?qū)⑸鲜竭M一步表示為思考下式的證明上式表明一對事件yjzk出現(xiàn)后提供有關(guān)xi的信息量I（xi;yjzk),等于事件yj出現(xiàn)后所提供的有關(guān)xi的信息量I（xi;yj)加上在給定時間yj的條件下再出現(xiàn)事件zk所提供的有關(guān)xi的信息量。一個離散隨機變量X，以不同的取值概率有N個可能取值,XP（x）＝a1a2…aNp1p2…pN信息論關(guān)心：X的不確定性不確定性－－大，獲取的信息－－多熵的引入箱內(nèi)100個球摸到紅球不確定性分析：隨機變量X、Y、ZXP（x）＝

a1a2ZP（z）＝a1a2a3a4a5YP（y）＝

a1a2問題：能否度量、如何度量？？小大99個紅球，1個黑球50個紅球，50個黑球20個紅球，其它4種顏色各20個平均自信息量（熵）通常研究單獨一個事件或單獨一個符號的信息量是不夠的，往往需要研究整個事件集合或符號序列(如信源)的平均的信息量(總體特征)，這就需要引入新的概念--平均自信息量定義X上，隨機變量I（xi)數(shù)學(xué)期望定義為平均自信息量由于這個表達式和統(tǒng)計物理學(xué)中熱熵的表達式相似，且在概念上也有相似之處，因此借用“熵”這個詞，把H(X)稱為信息“熵”；熵函數(shù)的自變量是X,表示信源整體信息熵的單位與公式中的對數(shù)取底有關(guān)。通信與信息中最常用的是以2為底，這時單位為比特（bit）；理論推導(dǎo)中用以e為底較方便，這時單位為奈特（Nat）；工程上用以10為底較方便，這時單位為笛特（Det）。它們之間可以引用對數(shù)換底公式進行互換。比如：1bit=0.693Nat=0.301Det熵的計算例：設(shè)某信源輸出四個符號，其符號集合的概率分布為：則其熵為：熵是從整個集合的統(tǒng)計特性來考慮的，它是從平均意義上來表征集合的總體特征的。熵表示事件集合中事件發(fā)生后，每個事件提供的平均信息量；熵表示事件發(fā)生前，集合的平均不確定性；例：有2個集合，其概率分布分別為：

分別計算其熵，則：H(X)=0.08bit/符號,H(Y)=1bit/符號3、擴展性:當某事件Ek的概率Pk稍微變化時，H函數(shù)也只作連續(xù)的不突變的變化；1、對稱性:熵函數(shù)對每個Pk

對稱的。該性質(zhì)說明熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，與事件集合的總體統(tǒng)計特性有關(guān)；2、非負性:H（P）=H(p1,p2,…,pq)>=0；通常研究單獨一個事件或單獨一個符號的信息量是不夠的，往往需要研究整個事件集合或符號序列(如信源)的平均的信息量(總體特征)，這就需要引入新的概念--平均自信息量50個紅球，50個黑球這是傳輸失真所造成的。自信息、條件自信息和互信息通信與信息中最常用的是以2為底，這時單位為比特（bit）；箱內(nèi)100個球摸到紅球不確定性分析：隨機變量X、Y、Z它們之間可以引用對數(shù)換底公式進行互換。3、平均互信息和各類熵的關(guān)系：信宿收到的符號集合Y的概率空間另外，聯(lián)合集合XYZ中還存在xi與yjzk之間的互信息量，其定義式當事件xi發(fā)生以后，表示事件xi所提供的信息量；Log(x/y)=logx-logyp(xi):發(fā)送端發(fā)送xi的概率；（2）若甲告知乙棋子落入方格的行號，這時，在乙看來棋子落入某方格的不確定性為多少？它們之間可以引用對數(shù)換底公式進行互換。5、極值性：當所有事件等概率出現(xiàn)時，平均不確定性最大，從而熵最大，即：4、可加性：如果有兩個隨機變量X,Y,他們不是相互獨立的，則二維隨機變量（X,Y)的熵等于X的無條件熵加上當X已給定時Y的條件概率定義的熵統(tǒng)計平均值，即6、確定性：即H(1,0)=H(1,0,0)=H(1,0,0…,0)=0，即當某一事件為確定事件時，整個事件集合的熵為0；7、上凸性：條件熵條件概率并且當已知特定事件yj出現(xiàn)時，下一個出現(xiàn)的是xi的不確定性為：對集合X中所有元素統(tǒng)計平均，其熵為：上述熵值再對集合Y中的元素做統(tǒng)計平均，得條件熵：同理可得：XY上，條件自信息量I(y|x)的概率加權(quán)平均值定義為條件熵。在已知隨機變量Y的條件下，隨機變量X的條件熵定義為：條件熵是一個確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵XY上的每個元素對xiyj的聯(lián)合自信息量的數(shù)學(xué)期望。是二元隨機變量不確定性的度量。2.3.4聯(lián)合熵（共熵）定義式為1、聯(lián)合熵與信息熵、條件熵的關(guān)系當X,Y相互獨立時，有：于是有：理解：當隨機變量相互獨立時，其聯(lián)合熵等于單個隨機變量的熵之和，而條件熵等于無條件熵。2、共熵與信息熵的關(guān)系當X,Y相互獨立時等式成立3、條件熵與信息熵的關(guān)系加權(quán)熵設(shè)有隨機變量X，引入時間的重量后，其概率空間為XPW=x1x2……xnp(x1)p(x2)……p(xn)W1W2……Wn

定義2.3.5離散無記憶信源[XPW]的加權(quán)熵定義為加權(quán)熵的性質(zhì)性質(zhì)1：非負性HW(X)>=0性質(zhì)2：若權(quán)重W1=W2=…Wn=W則HW(X)=WH(X)性質(zhì)3：確定性若pj=p(xj)=1,而pi=p(xi)=0(i=1,2,…,n；i不等于j),則HW(X)=0性質(zhì)4：若,而I,J為樣本空間，并且加權(quán)熵為零，即HW（X)=0互信息量是定量地研究信息流通問題的重要基礎(chǔ)。但它只能定量地描述輸入隨機變量發(fā)出某個具體消息，輸出變量出現(xiàn)某一個具體消息時，流經(jīng)信道的信息量；此外還是隨和變化而變化的隨機變量?；バ畔⒘坎荒軓恼w上作為信道中信息流通的測度。這種測度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。定義互信息量在聯(lián)合概率空間中的統(tǒng)計平均值為Y對X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。xiyj信道p(xi):發(fā)送端發(fā)送xi的概率；P(xi|yj):接收端收到y(tǒng)j后，發(fā)送端發(fā)送xi的概率X,P表示輸入端概率空間Y,P表示輸出端概率空間XY,P(xy)表示二維聯(lián)合概率空間當xi,yj相互獨立時XY上，由yj提供的關(guān)于集X的平均條件互信息量等于由yj所提供的互信息量I（xi;yj）在整個X中以后驗概率加權(quán)的平均值，其定義式為XY上的平均條件互信息量有I（X;yj）>=0,當且僅當X集中的各個xi都與事件yj互相獨立時，等號成立。I(X;yj)在整個集Y上的概率加權(quán)平均值。平均互信息的物理意義：從三種不同角度說明從一個事件獲得另一個事件的平均互信息需要消除不確定度，一旦消除了不確定度，就獲得了信息。此即“信息就是負熵”互信息量不能從整體上作為信道中信息流通的測度。條件熵是一個確定值，表示