第4章 信息率失真函數

1、第第4章章 信息率失真函數信息率失真函數4.1 信息率失真函數信息率失真函數4.2 離散信源的信息率失真函數離散信源的信息率失真函數4.3 連續(xù)信源的信息率失真函數連續(xù)信源的信息率失真函數4.4 保真度準則下的信源編碼定理保真度準則下的信源編碼定理4.1.1 失真函數和平均失真度失真函數和平均失真度4.1.2 率失真函數定義率失真函數定義4.1 .3 率失真函數性質率失真函數性質實際通信系統(tǒng)實際通信系統(tǒng)允許一定的失真存在。允許一定的失真存在。1打電話；2放電影，視覺暫留性。允許壓縮信源輸出的信息率。研究內容：信息率 允許失真1nXaa1nbbY)/(ijabp對每一對),(jiba指定一個非負

2、數0),(jibad失真度失真度 （函數）),(.),(),(.),(.),(),(),(.),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadD失真矩陣a1 b1a2b2anbnjiajibadji0),(0.0.0aaaaaa11a漢明失真0111011102)(),(ijjiabbad2平方誤差失真函數平方誤差失真函數由于由于ai和和bj都是隨機變量，所以失真函數都是隨機變量，所以失真函數d(ai, ,bj)也是隨機變量，限失真時的失真值，只能用它的也是隨機變量，限失真時的失真值，只能用它的數學期望或統(tǒng)計平均值，因此將失真函數的數學數學期

3、望或統(tǒng)計平均值，因此將失真函數的數學期望稱為期望稱為平均失真度平均失真度。在平均的意義上表示信道每傳遞一個符號所引起在平均的意義上表示信道每傳遞一個符號所引起的失真的大小的失真的大小 。平均失真度平均失真度nimjjiiiijibadabpapbadED11),()/()(),(DD N次擴展信道的平均失真度：次擴展信道的平均失真度：NNXXXX21Niiixxa1,11niiaaxxNniiN, 1,1Nni, 2 , 1NNYYYY21Nmj, 2 , 1,11mjjbbyyNNjjjyyb.1mjjjN1,21NkjijijijjiikkNNNNjiyxdyxdyxdyyxxdbad1)

4、,( ),(),( ),(),(1111由信源和信道的無記憶性)/()/()()( 11kkkjjNkijjNkixypabpxpapNjiijnimjiDDbadabpapNDNN111 ),()/()()(DDkDNND)(NDND)(4.1.2 率失真函數定義率失真函數定義naaax,21信源編碼器信源編碼器nbbby,21XY假想信道假想信道將信源編碼器看作信道將信源編碼器看作信道信源編碼器的信源編碼器的目的目的是使編碼后所需的信息傳輸率是使編碼后所需的信息傳輸率R盡量小，然而盡量小，然而R越小，引起的平均失真就越大。給越小，引起的平均失真就越大。給出一個失真的限制值出一個失真的限制值

5、D，在滿足平均失真，在滿足平均失真 D的的條件下，選擇一種編碼方法使信息率條件下，選擇一種編碼方法使信息率R盡可能小。盡可能小。信息率信息率R就是所需輸出的有關信源就是所需輸出的有關信源X的信息量。將的信息量。將此問題對應到信道，即為接收端此問題對應到信道，即為接收端Y需要獲得的有關需要獲得的有關X的信息量，也就是互信息的信息量，也就是互信息I(X;Y)。這樣，。這樣，選擇信選擇信源編碼源編碼方法的問題就變成了方法的問題就變成了選擇假想信道選擇假想信道的問題，的問題，符號轉移概率符號轉移概率p(yj/xi)就對應信道轉移概率。就對應信道轉移概率。 DDD D D失真許可的失真許可的 試驗信道試

6、驗信道: )/(DDabpPijD稱平均失真由信源分布平均失真由信源分布p(ai)、假想信道的轉移概率、假想信道的轉移概率p(bj/ai)和失真函數和失真函數d(ai，bj)決定，若決定，若p(ai)和和d(ai，bj)已定，則已定，則調整p(bj/ai) 使1、D允許試驗信道允許試驗信道 2、信息率失真函數信息率失真函數R(D) 由于互信息取決于信源分布和信道轉移概率由于互信息取決于信源分布和信道轉移概率分布，當分布，當p(xi)一定時，一定時，互信息互信息I(X；Y)是關于是關于p(yj/xi)的的下下凸函數，凸函數，存在存在極小值。極小值。因而在上因而在上述允許信道述允許信道PD中，可以

7、尋找一種信道中，可以尋找一種信道pij，使，使給定的信源給定的信源p(xi)經過此信道傳輸后，互信息經過此信道傳輸后，互信息I(X；Y)達到最小。該最小的互信息就稱為信達到最小。該最小的互信息就稱為信息率失真函數息率失真函數R(D)，即，即 );(min)()/(YXIDRDijPxypN次無記憶擴展信源和信道：)(: )/()(NDNDabpPijND);(min)()()/(YXIDRNDijPabPN)()(DNRDRN4.1.3 率失真函數性質率失真函數性質定義域：1max, 0 DD=0R(D)=H(X)連續(xù)：)(lim0DRDDRmaxDD 0)(DRmaxDD 0)(DR)()/

8、(jijbpabp令mjjjbpnijiimjjbpnimjjijibpDbpbadapbpDbadbpapjjj1)(11)(11max)()(min),()()(min),()()(minjnijiiDyadap1),()(線性分配a1a21021)1 (aammnmnnDDDyxdyxdyxdyxdyxdyxd.211221111),(.),(.),(.),(),(.),(假定所有Dj中，Ds最小，令sjsjypj01)(jjDDminmax下凸性210)()1 ()()1 ( DRDRDDR)/()/(21ijijab、pabp)()( D、RDRnimjjiijiDbadabpapD

9、1111),()/()(nimjjiijiDbadabpapD11 22),()/()()()(log)/()();(111111DRbp)/a(bpabpapbaInimjjjijiiniijjabpapbp11i1)/()()()()()(log)()/();( 1122i22DRbp/abpapabpbaInimjjijij定義新試驗信道：)/()1 ()/()/(21ijijijabpabpabpDDDDDbadabpapDnimjjiiji 2111)1 ( )1 ( ),()/()(滿足保真滿足保真度準則度準則)1 ()();( DDRDRYXI由 對 的下凸性：);(YXI)(i

10、jabp);()1 ();();(21YXIYXIYXI)()1()( DRDR)()1 ()()1 ( DRDRDDR連續(xù)和單調遞減性連續(xù)和單調遞減性3DH(X)R(D)maxDDD 4.1 信息率失真函數信息率失真函數4.2 4.2 離散信源的信息率失真函數離散信源的信息率失真函數4.3 連續(xù)信源的信息率失真函數連續(xù)信源的信息率失真函數4.4 保真度準則下的信源編碼定理保真度準則下的信源編碼定理4.2.1 離散信源信息率失真函數的參量表離散信源信息率失真函數的參量表達式達式4.2.2 二元信源的率失真函數二元信源的率失真函數DijjiiPabpbadap)/(),(),(nimjjijij

11、ibpabpabpapYXI11)()/(ln)/()();(DD niabpmjij, 2 , 1 1)/(1),()/()(11jiijinimjbadabpapDniijijabpapbp1)/()()()()()();(11nimjjiijiD,badabpapSyxI令mjijiabpu1 1)(0)(ij/abp0)()(S)()()()(ln)(ijiiiijijiu,badapapapbpabpap0ln),()()/(lnijjijbaSdbpabpi)(lniiiapu令),()()/(jbiajiijSdebpabp1mjbajijiSdebp1),()(12niiijj

12、jbiaSdeapbpbp1),()()()(3i32)(jbp1,i)(jbp)(ijabp),()()()(11),(jijijiibadebpapSDnimjbaSd4)()(ln)()()(),(11),(jjijijijiibpebpebpapSRbaSdnimjbaSdniiiapSSD1ln)()(5SdDdRniiniidDdapdDdSDSdDdRdDdSSRDRdDdRiii11)(SdDdSdSdapDSiiini)(1 負值在公式 兩邊對S取導數20),()()(),(),(1jijiiijiiibaSdbaSdniebadapeapdSd兩邊乘以 對 求和)(jbpj

13、0)(1DdSdapiniii0dDdSDmaxDnapi1)()(DS)(DR4.2.1離散信源信息率失真函數的參量離散信源信息率失真函數的參量表達式表達式4.2.2 二元信源的率失真函數二元信源的率失真函數00D0PPD110max21PjjDDminmaxnijiij,badapD1)()(1(1)DP2DPmax2DDP(,)11()ijnSd a biiip a e 1)1 (21sepp1)1 (21ppeS)1 (11Sep)1)(1 (12SepijijmjbaSdeyp1)(1),()1 ()()(21SSepebpbp)1)(1 ()()(21SSepbpebpSSeepp

14、bp1)1 ()(2SSepepbp1)1 ()(2),()()/(jijiijbaSdebpabp)1 ()1 ()/(211SSepeppabp)1)(1 ()1 ()/(212SSepeppabp)1 ()1 ()/(221SSeppepabp)1)(1 ()1 ()/(222SSeppepabpnimjjbiaSdjijiiebadbpapSD11),(),()()()(SSee1)1ln()1 ()1ln(ln1 ln)()()(1ppeppeeSapSSDSRSSSniii)1ln()1 (ln )1ln()1ln(ln)(ppppDDDDDDR2/12/ln21DDS)()(DH

15、pH15 . 02maxDS(D)DD0.50.25P=0.25P=0. 5()R D4.3 連續(xù)信源的信息率失真函數連續(xù)信源的信息率失真函數4.3.1 連續(xù)信源失真函數的參量表達式連續(xù)信源失真函數的參量表達式)/(),(,xypRyx定義定義0),(yxd dxdyyxdxypD),()(dxdyypxypxypyxIc )()/(log)();(定義PD為滿足保真度準則的試驗信道集合);()()/(YXIInfDRcPxypD下確界:InfDD dxdyexydypxxpSDyxsd),()()()( )()( dxxxpSDSR)( log)()(dDdRS 證明：222)(221)(m

16、xexpdxxxpm)(dxxpmx)()(222)(),( yxyxd 2)(/()( ),()/()(yxxypdxxpdxdyyxdxypxpD dxdyyxdxypD),()( dxyxyxpdyypdxdyyxyxpyp22)(/()()(/()(dxyxyxpyD2)(/()(條件方差)dyyDypD)()()(2log21)/(maxyeDyXH)(2log21)/(yeDyXHcdyyXHypYXHcc)/()()/(maxdyyDype)(log)(212log21根據根據詹森不等式：詹森不等式：dyyDyPdyyDyP)()(log)(log)(DlogDeYXHc2log

17、21)/(DD eDYXHc2log21)/(22log21)(eXHceDDe2log212log21 2log21 )/()();(2DeYXHXHYXIcccDDR2log21)(YXN反向加性高斯實驗信道DDR2log21)(1D2 0)( 2DRD2)(DRD2D2)(DS高斯信源的率失真函數4.3連續(xù)信源的信息率失真函數連續(xù)信源的信息率失真函數連續(xù)率失真函數的參量表達式連續(xù)率失真函數的參量表達式高斯信源的率失真函數高斯信源的率失真函數4.3.3 信息價值信息價值 合格品x1，廢品x2，生產過程抽象成信源：例例01. 099. 021aa 把檢驗過程看作信道，檢驗結果即為信道輸出。0

18、),(11bad合格品出廠：b1：檢驗合格b2：檢驗不合格廢品報廢：0),(22bad合格品報廢：1),(21bad廢品出廠：100),(12bad 0100102121aabbD 不經檢驗全部出廠： 0101P1元1),()/()(2121ijjiijibadabpapD不經檢驗全部報廢： 1010P2元99. 0D檢驗完全正確： 1001P3元0D)/(081. 0 99. 099. 001. 001. 0 )()(符號bitLogLogXHDR)/(2 .12081. 099. 099. 0maxbitD元元檢驗不十分可靠： 9 . 01 . 01 . 09 . 0P411 . 099. 009 . 099. 0D09 . 001. 01001 . 001. 0元199. 0比最大損失減少了：0.99-0.199=0.791 元)/(6 .31025. 0791. 0)/(25. 0);(bitbityxI元符號108. 0)( 892. 0)( )/()()( )/()();(2121bpbpabpapbpXYHYHYXIiijij的反函數表示用)()(DRRD)(maxRDDV)()()(maxDRRDDDRV價值率價值率SRDdRdv1)(C CR(D)R(D