信息論與編碼第5章

1、第5章信源編碼編碼分為信源編碼和信道編碼，其中信源編碼又分為無(wú)失真和限失真。一般稱(chēng)u無(wú)失真信源編碼定理為第一極限定理；u信道編碼定理（包括離散和連續(xù)信道）稱(chēng)為第二極限定理；u限失真信源編碼定理稱(chēng)為第三極限定理。1信息論基礎(chǔ)B第5章信源編碼由于信源符號(hào)之間存在分布不均勻和相關(guān)性，使得信源存在冗余度，信源編碼的主要任務(wù)就是減少冗余，提高編碼效率。2信息論基礎(chǔ)B第5章信源編碼信源編碼的基本途徑有兩個(gè)：n 使序列中的各個(gè)符號(hào)盡可能地互相除相關(guān)性；，即解n 使編碼中各個(gè)符號(hào)出現(xiàn)的概率盡可能地相等，即概率均勻化。3信息論基礎(chǔ)B第5章信源編碼信源編碼的基礎(chǔ)是信息論中的兩個(gè)編碼定理：n 無(wú)失真編碼定理n 限失

2、真編碼定理 無(wú)失真編碼只適用于離散信源 對(duì)于連續(xù)信源，只能在失真受限制的情況下進(jìn)行限失真編碼4信息論基礎(chǔ)B5.1編碼的定義圖5-1信源編碼器示意圖5信息論基礎(chǔ)B碼表信道編碼器信源5.1編碼的定義信源編碼是指信源輸出符號(hào)經(jīng)信源編碼器編碼后轉(zhuǎn)換成另外的壓縮符號(hào)無(wú)失真信源編碼：可精確無(wú)失真地地消息信源輸出6信息論基礎(chǔ)B5.1編碼的定義將信源消息分成若干組，即符號(hào)序列xi，xi(xi1xi2xilxiL)， xilÎA=a1，a2，ai，an每個(gè)符號(hào)序列xi依照固定碼表yi(yi1yi2yilyiL)，成一個(gè)碼字yi，yilÎB=b1，b2，bi，bm這樣的碼稱(chēng)為分組碼，有時(shí)也叫塊

3、碼。只有分組碼才有對(duì)應(yīng)的碼表，而組碼中則不存在碼表。7信息論基礎(chǔ)B5.1編碼的定義如圖5-1所示，如果信源輸出符號(hào)序列長(zhǎng)度L1，信源符號(hào)集A(a1，a2，an)信源概率空間為é X ù = éùa1a2p(a2 )LLanêP úêúp(a)p(a)ëûëû1n若將信源X通過(guò)二元信道傳輸，就必須把信源符號(hào)ai變換成由0，1符號(hào)組成的碼符號(hào)序列，這個(gè)過(guò)程就是信源編碼8信息論基礎(chǔ)B5.1編碼的定義不同的碼符號(hào)序列，如表5-1所示。表5-1變長(zhǎng)碼與定長(zhǎng)碼9信息論基礎(chǔ)B信源符號(hào)ai信

4、源符號(hào)出現(xiàn)概率p(ai)碼表碼1碼2a1 a2 a3a4p(a1)p(a2)p(a3)p(a4)000110110010011115.1編碼的定義組碼奇異碼碼非唯一可譯碼非奇異碼非即時(shí)碼分組碼唯一可譯碼即時(shí)碼(非延長(zhǎng)碼)10信息論基礎(chǔ)B5.1編碼的定義表5-2碼的不同屬性11信息論基礎(chǔ)B信源符號(hào)ai符號(hào)出現(xiàn)概率p(ai)碼1碼2碼3碼4a11/20011a21/411101001a31/80000100001a41/81101100000015.1編碼的定義通?？捎么a樹(shù)來(lái)表示各碼字的010101010101010101 010101 01 0101二進(jìn)制碼樹(shù)12信息論基礎(chǔ)B5.1編碼的定義01

5、2012012012012012三進(jìn)制碼樹(shù)13信息論基礎(chǔ)B5.1編碼的定義唯一可譯碼存在的充分和必要條件各碼字的長(zhǎng)度Ki 應(yīng)符合克勞夫特不等式：nå mKii=1£ 114信息論基礎(chǔ)B5.1編碼的定義例：設(shè)二進(jìn)制碼樹(shù)中X(a1， a2 ，Îa3 ， a4)，K1定1，K22，K32，K43，應(yīng)用上述理：49å=-K-+=ii=1因此不存在滿(mǎn)足這種Ki的唯一可譯碼。15信息論基礎(chǔ)B5.1編碼的定義1，01，001，000惟一可譯碼；1，01，101，000不是惟一可譯碼； 均滿(mǎn)足克勞夫特不等式01a1=101a2=01014å2- Kii=1=

6、2-1 + 2-2 + 2-3 + 2-3 = 1a4=000a3=01116信息論基礎(chǔ)B5.2信源輸出無(wú)失真信源編碼X(X1X2XlXL)，XlÎa1，a2，ai，an編碼為Y(Y1Y2Yk YkL)， YkÎb1，b2，bj，bm。要求能夠無(wú)失真或無(wú)差錯(cuò)地譯碼，同時(shí)傳送Y 時(shí)所需要的信息率最小17信息論基礎(chǔ)B5.2無(wú)失真信源編碼無(wú)失真的信源編碼定理n 定長(zhǎng)編碼定理n 變長(zhǎng)編碼定理18信息論基礎(chǔ)B5.2無(wú)失真信源編碼由L個(gè)符號(hào)組成的、每個(gè)符號(hào)的熵為HL(X)的無(wú)記憶平穩(wěn)信源符號(hào)序列X1X2XlXL，可用KL個(gè)符號(hào)Y1， Y2，Yk，（每個(gè)符號(hào)有m種可能值）進(jìn)行定長(zhǎng)編碼。對(duì)

7、任意e>0，d>0，只要?jiǎng)t當(dāng)L足夠大時(shí)，必可使譯碼差錯(cuò)小于d；反之，當(dāng) KL(X) + e 時(shí)，譯碼差錯(cuò)一log m ³ HLL定是有限值，而L足夠大時(shí)，譯碼幾乎必定出錯(cuò)KLlog m £ H (X) - 2eLL19信息論基礎(chǔ)B5.2無(wú)失真信源編碼定長(zhǎng)編碼定理說(shuō)明，KL log m > LHL (X) = H (X)碼字所能攜帶的信息量大于信源序列輸出的信息量，則可以使傳輸幾乎無(wú)失真，當(dāng)然條件是L足夠大。20信息論基礎(chǔ)B5.2無(wú)失真信源編碼反之，當(dāng) K < HL (X)時(shí)，不可能無(wú)失真的編碼，也就是不可能做一種編碼器，能使收端譯碼時(shí)差錯(cuò)概率趨于零。

8、K = HL (X) 時(shí)，則為臨界狀態(tài)，可能無(wú)失真，也可能有失真。21信息論基礎(chǔ)B5.2無(wú)失真信源編碼s 2 (X)£PeLe 2式中s2 ()2為自信息方差e為一正數(shù)。當(dāng)s 2 ( X ) 和 e 2 均為定值時(shí)，只要L足夠大，Pe可以小于任一正數(shù)d。即，s 2 (X) £ dLe 222信息論基礎(chǔ)B5.2無(wú)失真信源編碼s 2 (X) 時(shí)，e 2d當(dāng)信源序列長(zhǎng)度L滿(mǎn)足L ³s 2 (X)Le 2能達(dá)到差錯(cuò)率要求Pe £23信息論基礎(chǔ)B5.2無(wú)失真信源編碼在連續(xù)信源的情況下，由于信源的信息量趨于無(wú)限，顯然不能用離散符號(hào)序列Y來(lái)完成無(wú)失真編碼，而只能進(jìn)行限

9、失真編碼。24信息論基礎(chǔ)B5.2無(wú)失真信源編碼h = HL (X)定義K為編碼效率，即信源的平均符號(hào)熵為H(X)，采用平均符號(hào)碼長(zhǎng)為K來(lái)編碼，所得的效率。編碼效率總是小于1，且最佳編碼效率為HL (X)HL (X) + eh =,e > 025信息論基礎(chǔ)B5.2無(wú)失真信源編碼編碼定理從理論上闡明了編碼效率接近1的理想編碼器的存在性，它使輸出符號(hào)的信息率與信源熵之比接近于1，即HL (X)® 1KLlog mLL取無(wú)限長(zhǎng)26信息論基礎(chǔ)B5.2無(wú)失真信源編碼例設(shè)離散無(wú)記憶信源概率空間為é X ùé a1ùa20.18a30.1a40.1a50

10、.07a60.06a70.05a8ê P úê0.40.04úëûëû8H ( X ) = -å pii=1= 2.55比特/符號(hào)log pi27信息論基礎(chǔ)B5.2無(wú)失真信源編碼對(duì)信源符號(hào)采用定長(zhǎng)二元編碼，要求編碼效率90，若取L1，則可算出為2.55 ¸ 90%=2.8比特/符號(hào)KPe0.04太大28信息論基礎(chǔ)B5.2無(wú)失真信源編碼H ( X )hÞ e = 0.28= 0.90,H ( X ) + e8åi=1s( X ) = DI (x ) =- H ( X )2= 7

11、.82(bit)222p (log p )iiid£ 106若要求譯碼錯(cuò)誤概率s 2 ( X )e 2d7.82L ³=0.282 ´10-6= 9.8 ´10» 107829信息論基礎(chǔ)B5.2無(wú)失真信源編碼變長(zhǎng)編碼定理在變長(zhǎng)編碼中，碼長(zhǎng)K是變化的根據(jù)信源各個(gè)符號(hào)的統(tǒng)計(jì)特性，如概率大的符號(hào)用短碼，概率小的用較長(zhǎng)的碼，使得編碼后平均碼長(zhǎng)降低，從而提高編碼效率。（統(tǒng)計(jì)匹配）30信息論基礎(chǔ)B5.2無(wú)失真信源編碼單個(gè)符號(hào)變長(zhǎng)編碼定理：若離散無(wú)記憶信源的符號(hào)熵為H(X)，每個(gè)信源符號(hào)用m進(jìn)制碼元進(jìn)行變長(zhǎng)編碼，一定存在一種無(wú)失真編碼方法，其碼字平均長(zhǎng)度滿(mǎn)足

12、下列不等式H ( X ) £ K < H ( X ) + 1log mlog m31信息論基礎(chǔ)B5.2無(wú)失真信源編碼離散平穩(wěn)無(wú)記憶序列變長(zhǎng)編碼定理：對(duì)于平均符號(hào)熵為HL(X)的離散平穩(wěn)無(wú)記憶信源，必存在一種無(wú)失真編碼方法，使平均信息率滿(mǎn)足不等式HL (X) £ K < HL (X) + e其中e為任意小正數(shù)。32信息論基礎(chǔ)B5.2無(wú)失真信源編碼編碼效率總是小于1，可以用它來(lái)衡量各種編碼方法的優(yōu)劣。為了衡量各種編碼方法與最佳碼的差距，定義碼的剩余度為HL ( X )= 1 - HL ( X )g= 1 - h = 1 -KLKlog mL33信息論基礎(chǔ)B5.2無(wú)失

13、真信源編碼例設(shè)離散無(wú)記憶信源的概率空間為éa1a2 ù1 ú4 úûé X ùê P ú = ê 3êë 4ëû34信息論基礎(chǔ)B5.2無(wú)失真信源編碼H ( X ) = 1 log 4 + 3 log 4 = 0.811bit / 符號(hào)443若用二元定長(zhǎng)編碼(0，1)來(lái)構(gòu)造一個(gè)即® 0,a2® 1。時(shí)碼：a1平均碼長(zhǎng) K 1二元碼符號(hào)/信源符號(hào)35信息論基礎(chǔ)B5.2無(wú)失真信源編碼編碼效率為h = H ( X ) = 0.811K輸出的信息

14、效率為R0.811比特/二元碼符號(hào)36信息論基礎(chǔ)B5.2無(wú)失真信源編碼長(zhǎng)度為2的信源序列進(jìn)行變長(zhǎng)編碼（編碼方法后面介紹），其即時(shí)碼如下表37信息論基礎(chǔ)Baip(ai)即時(shí)碼a1a19/160a1a23/1610a2a13/16110a2a21/161115.2無(wú)失真信源編碼933K2 =´1´ 2´´1616二元碼符號(hào)/信源序列K = K2= 27二元碼符號(hào)/信源符號(hào)23238信息論基礎(chǔ)B5.2無(wú)失真信源編碼編碼效率= 32 ´ 0.811 = 0.961h227信息效率R20.961比特/二元碼符號(hào)39信息論基礎(chǔ)B5.2無(wú)失真信源編碼h3 =

15、 0.985L3R30.985比特/二元碼符號(hào)h4 = 0.991L4R40.991比特/二元碼符號(hào)40信息論基礎(chǔ)B5.2無(wú)失真信源編碼定長(zhǎng)二元碼編碼，要求編碼效率達(dá)到96時(shí)d £ 105，譯碼錯(cuò)誤概率2s 2 ( X ) = å pi (log pi )2 -H ( X )2i=1= 0.4715(bit)2(0.96)20.4715L ³(0.811)2·0.0424.13 ´10´105741信息論基礎(chǔ)B5.2無(wú)失真信源編碼能獲得最佳碼的編碼方法主要有：n 香農(nóng)（Shannon）n 費(fèi)諾（Fano）n 哈夫曼（Huffman）等

16、42信息論基礎(chǔ)B5.2無(wú)失真信源編碼香農(nóng)（Shannon）編碼將信源消息符號(hào)按其出現(xiàn)的概率大小依次np1 ³ p2³ L ³ pn排列確定滿(mǎn)足下列不等式的整數(shù)碼長(zhǎng)Ki。nlog2 (pi ) £ Ki< - log2 (pi ) + 143信息論基礎(chǔ)B5.2無(wú)失真信源編碼為了編成唯一可譯碼，計(jì)算第i個(gè)消息的累加3.i-1Pi= å p(ak )概率k =1將累加概率Pi變換成二進(jìn)制數(shù)。取Pi二進(jìn)數(shù)的小數(shù)點(diǎn)后Ki位即為該消息符號(hào)的二進(jìn)制碼字。4.5.44信息論基礎(chǔ)B5.2無(wú)失真信源編碼設(shè)信源共7個(gè)符號(hào)消息，其概率和累加概率如下表所示。例45

17、信息論基礎(chǔ)B5.2無(wú)失真信源編碼信息論基礎(chǔ)B信源消息符號(hào)ai符號(hào)概率(ai)累加概率Pi-log p(ai)碼字長(zhǎng)度Ki碼字a10.2002.323000a20.190.22.393001a30.180.392.473011a40.170.572.563100a50.150.742.743101a60.100.893.3241110a0.010.996.64711111107465.2無(wú)失真信源編碼7K = å p(ai )Kii=1= 3.14碼元/符號(hào)R = H ( X ) = 2.61 = 0.831比元3.14K47信息論基礎(chǔ)B5.2無(wú)失真信源編碼費(fèi)諾編碼方法費(fèi)諾編碼屬于概率

18、匹配編碼(1)將信源消息符號(hào)按其出現(xiàn)的概率大小依次³ p2³ L ³ pn排列：p1。(2)將依次排列的信源符號(hào)按概率值分為兩大組，使兩個(gè)組的概率之和近于相同，并對(duì)各組賦予一個(gè)二進(jìn)制碼元“0”和“1”。48信息論基礎(chǔ)B5.2無(wú)失真信源編碼(3) 將每一大組的信源符號(hào)進(jìn)一步再分成兩組，使劃分后的兩個(gè)組的概率之和近于相同，并又賦予兩個(gè)組一個(gè)二進(jìn)制符號(hào)“0”和“1”。(4) 如此重復(fù)，直至每個(gè)組只剩下一個(gè)信源符號(hào)為止。(5) 信源符號(hào)所對(duì)應(yīng)的碼字即為費(fèi)諾碼。49信息論基礎(chǔ)B5.2無(wú)失真信源編碼例對(duì)以下信源進(jìn)行費(fèi)諾編碼。消息符號(hào)ai各 個(gè) 消息 概 率p(ai)第一次分組

19、第二次分組第三次分組第四次分組二元碼字碼長(zhǎng)Kia10.2000002a20.1913a30.a40.1710102a50.15101103a60.101011104信息論a7基礎(chǔ)B0.01111114505.2無(wú)失真信源編碼7K = å p(ai )Kii=1= 2.74碼元/符號(hào)R = H ( X ) = 2.61 = 0.953bit/符號(hào)2.74K51信息論基礎(chǔ)B5.2無(wú)失真信源編碼哈夫曼編碼方法(1)將信源消息符號(hào)按其出現(xiàn)的概率大小依次排p1 ³ p2³ L ³ pn列，(2)取兩個(gè)概率最小的字母分別配以0和1兩個(gè)碼元，并將這兩個(gè)概率相加作為一個(gè)

20、新字母的概率，與未分配的二進(jìn)符號(hào)的字母重新排隊(duì)。52信息論基礎(chǔ)B5.2無(wú)失真信源編碼(3) 對(duì)重排后的兩個(gè)概率最小符號(hào)重復(fù)步驟(2)的過(guò)程。(4) 不斷繼續(xù)上述過(guò)程，直到最后兩個(gè)符號(hào)配以0和1為止。(5) 從最后一級(jí)開(kāi)始，向前返回得到各個(gè)信源符號(hào)所對(duì)應(yīng)的碼元序列，即相應(yīng)的碼字。53信息論基礎(chǔ)B5.2無(wú)失真信源編碼例對(duì)以下信源進(jìn)行哈夫曼編碼信源符號(hào)ai概率p(ai)碼字Wi碼長(zhǎng)Kia10.20102a20.19112a30.180003a40.170013a50.150103a60.1001104信息論基礎(chǔ)Ba70.0101114545.2無(wú)失真信源編碼0.200.190.180.170.150

21、.1000.200.190.180.170.260.200.190.180.350.260.200.190.390.350 0.261 0.6100.390 1.01 1 00.150.110.171 01 0.011 55信息論基礎(chǔ)B5.2無(wú)失真信源編碼7K = å p(ai )Kii=1= 2.72碼元/符號(hào)R = H ( X ) = 2.61 = 0.96bit/符號(hào)2.72K56信息論基礎(chǔ)B5.2無(wú)失真信源編碼哈夫曼編碼方法得到的碼并非唯一的n 每次對(duì)信源縮減時(shí)，賦予信源最后兩個(gè)概率最小的符號(hào)，用0和1是可以任意的，所以可以得到不同的哈夫曼碼，但影響碼字的長(zhǎng)度。57信息論基礎(chǔ)

22、B5.2無(wú)失真信源編碼n 對(duì)信源進(jìn)行縮減時(shí)，兩個(gè)概率最小的符號(hào)合并后的概率與其它信源符號(hào)的概率相同時(shí)， 這兩者在縮減信源中進(jìn)行概率排序，其位置放置次序是可以任意的，故會(huì)得到不同的哈夫曼碼。此時(shí)將影響碼字的長(zhǎng)度，一般將合并的概率放在上面，這樣可獲得較小的碼方差。58信息論基礎(chǔ)B5.2無(wú)失真信源編碼例設(shè)有離散無(wú)記憶信源P = é a1ùa20.2a30.2a40.1a5Xê0.40.1úëû59信息論基礎(chǔ)B5.2無(wú)失真信源編碼60信息論基礎(chǔ)B信源符號(hào)ai概率p(ai)碼字Wi1碼長(zhǎng)Ki1碼字Wi2碼長(zhǎng)Ki2a10.411002a20.20

23、12102a30.20003112a40.1001040103a50.10011401135.2無(wú)失真信源編碼0.40.20.20.40.20.20.40.40.20.60.41 001 01 00.10.10.21 01 0.40.20.20.1 00.40.20.20.20.40.40.20.60.41.001 01 01 0.1 1 61信息論基礎(chǔ)B5.2無(wú)失真信源編碼7K = å p(ai )Kii=1= 2.2碼元/符號(hào)h = H ( X ) = 0.965K62信息論基礎(chǔ)B5.2無(wú)失真信源編碼= E(K )2 = åqi=1s-p(ai )(ki -2l2kiK

24、 )s= 1.362l1s= 0.162l 263信息論基礎(chǔ)B5.2無(wú)失真信源編碼進(jìn)行哈夫曼編碼時(shí)，為得到碼方差最小的碼，應(yīng)使合并的信源符號(hào)位于縮減信源序列盡可能高的位置上，以減少再次合并的次數(shù)，充分利用短碼。64信息論基礎(chǔ)B5.2無(wú)失真信源編碼哈夫曼碼是用概率匹配方法進(jìn)行信源編碼。n 哈夫曼碼的編碼方法保證了概率大的符號(hào)對(duì)應(yīng)于短碼，概率小的符號(hào)對(duì)應(yīng)于長(zhǎng)碼，充分利用了短碼；n 縮減信源的最后二個(gè)碼字總是最后一位不同，從而保證了哈夫曼碼是即時(shí)碼。65信息論基礎(chǔ)B5.3限失真信源編碼定理信息率失真函數(shù)給出了失真小于D時(shí)所必須具有的最小信息率R(D)；只要信息率大于R(D)，一定可以找到一種編碼，

25、使譯碼后的失真小于D。66信息論基礎(chǔ)B5.3限失真信源編碼定理限失真信源編碼定理：設(shè)離散無(wú)記憶信源X的信息率失真函數(shù)R(D)，則當(dāng)信息率R>R(D)，只要信源序列長(zhǎng)度L足夠長(zhǎng)， 一定存在一種編碼方法，其譯碼失真小于或等于De，e為任意小的正數(shù)。反之，若R<R(D)，則無(wú)論采用什么樣的編碼方法，其譯碼失真必大于D。67信息論基礎(chǔ)B5.3限失真信源編碼定理如果是二元信源，對(duì)于任意小的e，每一個(gè)信源符號(hào)的平均碼長(zhǎng)滿(mǎn)足如下公式R(D) £ K < R(D) + e68信息論基礎(chǔ)B5.3限失真信源編碼定理在失真限度內(nèi)使信息率任意接近R(D)的編碼方法存在。然而，要使信息率小于

26、R(D)，平均失真一定會(huì)超過(guò)失真限度D。對(duì)于連續(xù)平穩(wěn)無(wú)記憶信源，無(wú)法進(jìn)行無(wú)失真編碼，在限失真情況下，有與上述定理一樣的編碼定理。69信息論基礎(chǔ)B5.3限失真信源編碼定理限失真信源編碼定理只能說(shuō)明最佳編碼是存在的，而具體構(gòu)造編碼方法卻一無(wú)所知。因而就不能象無(wú)損編碼那樣從證明過(guò)程中引出概率匹配的編碼方法。一般只能從優(yōu)化的思路去求最佳編碼。實(shí)際上迄今尚無(wú)合適的可實(shí)現(xiàn)的編碼方法可接近R(D)這個(gè)界。70信息論基礎(chǔ)B5.4常用信源編碼方法簡(jiǎn)介n 算術(shù)編碼組碼的編碼方法之一算術(shù)碼71信息論基礎(chǔ)B5.4常用信源編碼方法簡(jiǎn)介符號(hào)概率與積累概率的遞推關(guān)系P(S, r) = P(S) + p(S)Pr , r =

27、 0,1ìP(S,0) = P(S )íP(S,1) = P(S ) + p(S )Pî072信息論基礎(chǔ)B5.4常用信源編碼方法簡(jiǎn)介采用累積概率P(S)表示碼字C(S)，符號(hào)概率p(S)表示狀態(tài)區(qū)間A(S)ìC(Sr) = C(S ) + A(S )PríA(Sr) = A(S ) pîr73信息論基礎(chǔ)B5.4常用信源編碼方法簡(jiǎn)介P(S)把區(qū)間0，1)分割成許多小區(qū)間，每個(gè)小區(qū)間的長(zhǎng)度等于各序列的概率p(S)，小區(qū)間內(nèi)的任一點(diǎn)可用來(lái)代表這序列0(P1)P2P3P4P51p1p2p3p474信息論基礎(chǔ)B5.4常用信源編碼方法簡(jiǎn)介0(P1

28、)P2P3P4P51p1p2p3p4L = élogù1êp(S ) úêúé ù 代表大于或等于的最小整數(shù)。把積累概率P(S)寫(xiě)成二進(jìn)位的小數(shù)，取其前L位; 如果有尾數(shù)，就進(jìn)位到第L位，這樣得到一個(gè)數(shù)C75信息論基礎(chǔ)B5.4例如P(S)0.10110001，p(S)=1/17，則L5， 得C0.10111這個(gè)C就可作為S的碼字編碼效率很高，當(dāng)序列很長(zhǎng)時(shí)，可達(dá)到概率匹配。平均代碼長(zhǎng)度接近S的熵值。可以唯一地譯碼常用信源編碼方法簡(jiǎn)介76信息論基礎(chǔ)B5.4例常用信源編碼方法簡(jiǎn)介有四個(gè)符號(hào)a，b，c，d簡(jiǎn)單序列Sabda

29、，各符號(hào)及其對(duì)應(yīng)概率如下表，算術(shù)編過(guò)程如下：77信息論基礎(chǔ)B符號(hào)符號(hào)概率pi符號(hào)累積概率Pja0.100(1/2)0.000b0.010(1/4)0.100c0.001(1/8)0.110d0.001(1/8)0.1115.4常用信源編碼方法簡(jiǎn)介設(shè)起始狀態(tài)為空序列j，則1，C(j)0。ìC(ja) = C(j ) + A(j )Pa= 0 + 1 ´ 0 = 0í A(ja) = A(j ) p= 1 ´ 0.1 = 0.1îaìC(ab) = C(a) + A(a)Pb= 0 + 0.1 ´ 0.1 = 0.01í A(ab) = A(a) p= 0.1 ´ 0.01 = 0.001îb78信息論基礎(chǔ)B5.4常用信源編碼方法簡(jiǎn)介ìC(abd )