信息論與編碼答案.doc

第二章 信源及信源熵2-1 (4)2-2 2-3 2-4 2-5 (1,2) (2,1) 共兩種 (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六種 2-6 014個 1-13個 2-12個 3-6個 P= I= 2-7 2-8 “” 用三個脈沖 “”用一個脈沖(1) I()= I()(2) H= 2.9 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2-10 (1) H(色)= (2) P(色數(shù))= H(色數(shù))= (3) H(數(shù)/色)= H(色數(shù))- H(色)=2-11 (1)H(XY)=(2) P= 得到 H(Y)=(3) H(X/Y)=H(XY)-H(Y)=2-12 (1) (2)(3)2-13 P(i)= P(ij)= H(IJ)= 2-14 (1) P(ij)= P(i/j)= (2) 方法1: = 方法2: 2-15P(j/i)= 2-16 (1) 白黑11 (2) 設(shè)最后平穩(wěn)概率為W1,W2 得W1=07 W2=0.3H(Y/黑)=H(Y/白)=H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)= 白黑2-17 (1)(2)2-24 (1) H(X)= (2) = (3) 2-25解方程組即解得W1=0.4 W2=0.62-26 P(j/i)= 解方程組 求得W=1/2S11/31/31/22/3S3S22/32-27 求平穩(wěn)概率符號條件概率 狀態(tài)轉(zhuǎn)移概率 解方程組 得到 W= 2-28(1) 求平穩(wěn)概率 P(j/i)= 解方程組 得到 (2) 信源熵為: 2-29 P(j/i)= 解方程組 得到W1= , W2= , W3= 2-30P(i/j)= 解方程組 得W1=W2=W3=信源熵為 2-31P(X1)= P(j/i)= P(X1X2)= （1）a. b. 求H(X2/X1)有兩種方法： 方法1： 方法2：H(X2/X1)=P(x1x2)log(x2/x1)= c. 求H(X3/X2)P(X2)= 則方法1：P(X3/X2)= ) + + = 方法2：P(X3/X2)=d. 最后 （2）首先求解穩(wěn)定情況下的概率解方程組得到 W1 ）W2 W3 = (3) 不做2-32 (1) P(j/i)= 求解方程組 得p(0)=p(1)=p(2)= (2) (3) H(X)=log(3)=1.58 (4) = P= 當(dāng)p=時達(dá)到最大值1.58 當(dāng) 時 當(dāng) 時 2-33 (1)解方程組: 得p(0)=p(1)=p(2)= (2) (3) 當(dāng)p=0或p=1時 信源熵為0第三章 無失真信源編碼3-1 3-2 (1) 因?yàn)锳,B,C,D四個字母,每個字母用兩個碼,每個碼為0.5ms, 所以每個字母用10ms 當(dāng)信源等概率分布時,信源熵為H(X)=log(4)=2 平均信息傳遞速率為bit/ms=200bit/s (2) 信源熵為 H(X)= =0.198bit/ms=198bit/s3-3 與上題相同3-5(1) H(U)=(2) 每個信源使用3個二進(jìn)制符號,出現(xiàn)0的次數(shù)為 出現(xiàn)1的次數(shù)為P(0)= P(1)= (3) (4) 相應(yīng)的香農(nóng)編碼信源符號xi符號概率pi累加概率Pi-Logp(xi)碼長Ki碼字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相應(yīng)的費(fèi)諾碼 信源符號xi符號概率pi第一次分組第二次分組第三次分組第四次分組第五次分組第六次分組第七次分組二元碼x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香農(nóng)碼和費(fèi)諾碼相同 平均碼長為 編碼效率為： 3-7 （1） pi= 累加概率為 Pi= 累加概率分別為符號x1x1x2x3x4x5x6x7概率1/21/41/81/161/321/641/1281/256累加概率00.50.750.8750.9380.9690.9840.992碼長12345678 二元碼010110111011110111110111111011111110 （2）信源的信息量為平均碼長為： 碼字的平均信息傳輸率為 Rbit/碼（3）編碼效率R1003-10 （1）H(X) （2） 信源符號xi符號概率pi編碼過程編碼碼長x10.370.370.370.380.621002x20.250.250.250.370.38012x30.180.180.200.25112x40.100.100.181003x50.070.1010104x60.0310114 3-11 （1）信源熵 （2）香農(nóng)編碼： 信源符號xi符號概率pi累加概率Pi-Logp(xi)碼長Ki碼字x10.3201.644200x20.220.322.1843010x30.180.542.4743100x40.160.722.6443101x50.080.883.64441110x60.040.964.644511110 平均碼長：編碼效率為（3） 費(fèi)諾編碼為信源符號xi符號概率pi1234編碼碼長x10.3200002x20.221012x30.1810102x40.16101103x50.081011104x60.04111114 平均碼長為：編碼效率： （4）哈夫曼編碼信源符號xi符號概率pi編碼過程編碼碼長x10.320.320.380.400.601012x20.220.220.320.380.40102x30.180.180.220.32112x40.160.160.180003x50.080.1200104x60.0400114平均碼長為：編碼效率： 3-12（1） 信源熵 信息傳輸速率2.552bit/s (2)信源符號xi符號概率pi編碼過程編碼碼長x10.40.40.40.40.40.40.611x20.180.180.180.190.230.270.40013x30.10.10.130.180.190.230113x40.10.10.10.130.1800004x50.070.090.10.101004x60.060.070.0901014x70.050.06000105x80.04000115 (3) 香農(nóng)編碼信源符號xi符號概率pi累加概率Pi-Logp(xi)碼長Ki碼字x10.401.322200x20.180.42.4743011x30.10.583.32241001x40.10.683.32241010x50.070.783.83741100x60.060.854.059511011x70.050.914.322511101x80.040.964.644511110平均碼長:(4) 費(fèi)諾編碼：信源符號xi符號概率pi碼碼長x10.400002x20.181012x30.11001003x40.111013x50.0710011004x60.06111014x70.051011104x80.04111114 3-14信源符號xi符號概率pi編碼過程編碼碼長x11/31/31/31/31/32/3002x21/31/31/31/31/31/3012x31/91/91/92/91/31003x41/91/91/91/91013x51/272/271/91113x61/271/2711004x71/2711014第四章 限失真信源編碼4-1 失真矩陣為 4-2 信源熵為 Dmax =min, R(Dmax)=0Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2只要滿足p(y1)+p(y2)+p(y3)+p(y4)=1在0,1區(qū)間可以任意取值。第五章 信道編碼5-15-2 (1)接收端的不確定度為: (2)H(Y/X)=(3)=0得到得 5-30919*1000=919bit/s5-5 (1) 5-6 (1)條件概率 ，聯(lián)合概率，后驗(yàn)概率 ， ，（2） H(Y/X)= （3）當(dāng)接收為y2，發(fā)為x1時正確，如果發(fā)的是x1和x3為錯誤，各自的概率為：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中錯誤概率為：Pe=P(x1/y2)+P(x3/y2)=（4）平均錯誤概率為（5）仍為0.733（6）此信道不好 原因是信源等概率分布，從轉(zhuǎn)移信道來看 正確發(fā)送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真嚴(yán)重 x3-y3的概率0 完全失真（7）H(X/Y)= 課外習(xí)題1 設(shè)某信道，其信道矩陣為 若信道的輸入符號a1,a2,a3先驗(yàn)等概，（1） 若使平均錯誤譯碼概率最小,請選擇譯碼函數(shù)。（2） 求出此錯誤譯碼概率Pemin。解：(1)因?yàn)橄闰?yàn)等概,所以選擇最大似然譯碼準(zhǔn)則F(b1)=a1 F(b2)=a3 F(b3)=a2 (2) Pemin= 2. 有二進(jìn)制對稱信道 p=0.01 =0.99(1) 采用最大似然譯碼準(zhǔn)則確定譯碼函數(shù),(2) 求出最小平均錯誤譯碼概率。(3) 對該信道進(jìn)行擴(kuò)展,采用簡單重復(fù)編碼，000,111, 采用最大似然譯碼準(zhǔn)則確定譯碼規(guī)則。(4) 求出擴(kuò)展后的最小平均錯誤譯碼概率。(5) 求出擴(kuò)展后的信道傳輸率解：（1）P(j/i)= 譯碼函數(shù)為F(b1)=a1，F(xiàn)(b2)=a2(2) Pemin=(0.01+0.01)/2=0.01(3) 譯碼函數(shù) F(1)= F(2)= F(3)= F(4)=000=1F(5)= F(6)= F(7)= F(8)=000=2（4）平均錯誤最小概率為 （5）R=3 i，j是兩個碼符號0,1組成的符號序列 ，求i，j 之間的漢明距離解：D(i，j)= 4 W:000,001,010,100,011,110,101,111的最小漢明距離解：Dmin=15 設(shè)有一離散信道，其信道矩陣為 (1) 當(dāng)信源X的概率分布為p(a1)=2/3，p(a2)=p(a3)=1/6時，按最大后驗(yàn)概率準(zhǔn)則選擇譯碼函數(shù)，并計算其平均錯誤譯碼概率Pemin(2) 當(dāng)信源是等概率是分布時，選擇最大似然譯碼準(zhǔn)則選擇譯碼函數(shù)，并計算其平均錯誤譯碼概率Pemin。解：(1) 聯(lián)合概率： 后驗(yàn)概率 根據(jù)最大后驗(yàn)概率準(zhǔn)則F(b1)=a1，F(xiàn)(b2)=a1，F(xiàn)(b3)=a1最小錯誤譯碼概率為(2) 當(dāng)信源是等概率分布時 采用最大似然譯碼準(zhǔn)則F(b1)=a1，F(xiàn)(b2)=a2，F(xiàn)(b3)=a3 6 設(shè)離散無記憶信道的輸入符號集X:0,1，輸出符號集Y:0,1,2，信道矩陣為 P= 若某信源輸出兩個等該消息x1，x2，現(xiàn)在用信道輸入符號集對x1，x2進(jìn)行編碼，W1=00，W2=11代表x1，x2。按最大似然準(zhǔn)則寫出譯碼函數(shù)，并求出最小平均錯誤譯碼概率Pemin。解： (1) 選擇譯碼函數(shù) F(b1)=F(b2)=F(