信息論與編碼期末考試題(全套)..

1、一、判斷題共10小J 滿(mǎn)分20分. 1.當(dāng)隨機(jī)變量X和丫相互獨(dú)立時(shí)，條件爛H(XI Y)等 7、某二元信源爲(wèi)冷打加其失真矩陣 圖如右圖所示, 信源X的符號(hào)集為0丄2 1 1 0 1 G = 1 1 0 1 1 0 1 0 1 0 于信源爛H(X).() 2. 由于構(gòu)成同一空間的基底不是唯一的，所以不同的基 底或生成矩陣有可能生成同一碼集. () 3. 般情況下，用變長(zhǎng)編碼得到的平均碼長(zhǎng)比定長(zhǎng)編碼 大得多.() 4. 只要信息傳輸率大于信道容量，總存在一種信道編譯 碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通 信. () 5. 務(wù)碼字的長(zhǎng)度符合克拉夫特不等式，是唯一可譯碼存 在的充分和必要條件

2、.() Y）_ H（X）。 三、（16分）已知信源 （1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分） （2）計(jì)算平均碼長(zhǎng)兀；（4分） （3）計(jì)算編碼信息率X; （2分） （4）計(jì)算編碼后信息傳輸率/?;（2分） （5）計(jì)算編碼效率巾。（2分） 四、（10分）某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè) 符號(hào)獨(dú)立岀現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。 如果符號(hào)的碼元寬度為0.5/5。計(jì)算： （1）信息傳輸速率心。（5分） （3）計(jì)算馬爾可夫信源的極限爛。（4分） 計(jì)算穩(wěn)態(tài)下HH2及苴對(duì)應(yīng)的剩余度。（4分） 六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的 信道容量。 1/

3、2 七、（16分）設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，苴取 0或1的概率相等。左義列一個(gè)二元隨機(jī)變S Z=XY（一般乘 積）。試計(jì)算 （1） H（X）,H（Z）; H（XY）,H（XZ）; （3） H（XIF）,H（ZIX）; 八、（10分）設(shè)離散無(wú)記憶信源的概率空間為 通過(guò)干擾信道，信道輸出端的接收符號(hào) 五、（16分）一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為 2 1 、“、 P（S1IS1） = -,P（S2ISI） = -,P（IIS2） = 1,P（S2IS2） = O. （1）畫(huà)出狀態(tài)轉(zhuǎn)移圖。（4分） （2）計(jì)算穩(wěn)態(tài)概率。（4分） il算信源X中事件旺包含的自信息量; （2）計(jì)算信源X的信息

4、爛： 計(jì)算信逍疑義度H（XIY）： （4）計(jì)算噪聲爛H（YIX）： 集為Y = yiiy2,信道傳輸概率如下圖所示。 0.2 0.2 = 0.2 0.2 - 0. 1 - o. 1 _L (2) (3) (4) H(S) = H (0.2,0.2,020.2,0.1.0.1) = 2.53 （5）計(jì)算收到消息Y后獲得的平均互信息呈:。 信息論基礎(chǔ)2參考答案 一、填空題（共15分，每空1分） 1、信源編碼的主要目的是提髙有效性,信道編碼的主要目的 是提高可靠性。 2、信源的剩余度主要來(lái)自?xún)蓚€(gè)方而，一是信源符號(hào)間的相關(guān) 性，二是信源符號(hào)的統(tǒng)計(jì)不均勻性。 3、三進(jìn)制信源的最小爛為g,最大爛為log,

5、 bit/符號(hào)。 4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源爛（或 H（S）/logr二 Hr（S）。 5、當(dāng)R二C或（信道剩余度為0）時(shí),信源與信逍達(dá)到匹配。 6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和 隨參信道。 7、根據(jù)是否允許失真,信源編碼可分為無(wú)失貞信源編碼和限 失真信源編碼。 8、若連續(xù)信源輸出信號(hào)的平均功率為亍，則輸岀信號(hào)幅度 % 的概率密度是高斯分布或正態(tài)分布或/（X）=出時(shí)， 信源具有最大埔，英值為值110g2cr2 o 9、在下而空格中選擇填入數(shù)學(xué)符號(hào)=,乙5”或“” （1）當(dāng) X 和 Y 相互獨(dú)立時(shí)，H （XY） gH （X） +H （X/Y） 5H （

6、Y）+H （X） （2）H、（X*皿=聖蟲(chóng)1 23 （3）假設(shè)信道輸入用X表示，信道輸岀用Y表示。在無(wú)噪有 損信道中,H（X/Y） 0, H（Y/X）=0,I（X;Y）H（X）o 三.（16分）已知信源 1.0 Ss Sb 編碼結(jié)果為： S =00 s, =01 S = 100 s4 = 101 Ss =110 3 = 111 Z = f 加=0.4 X 2 + 0.6 X 3 = 2.6 碼 號(hào) II R = Elogr=2.6b* 了號(hào) /學(xué)973%元其中， 、 H（S） H（S） （5） 77 = = = 0.973 Llogr L 評(píng)分：其他正確的編碼方案：1，要求為即時(shí)碼2,平均碼長(zhǎng)

7、 最短 四、（10分）某信源輸岀A、B、C、D、E五種符號(hào)，每一個(gè) 符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、l/8o 如果符號(hào)的碼元寬度為0.5/5O計(jì)算： （1）信息傳輸速率。（5分） （1） （1）尺+h（x）-丹（為） = llog84-llog2 = log24-llog2 =2 log 2 = 2bit （1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼:（6分） （2）計(jì)算平均碼長(zhǎng)兀；（4分） （3）計(jì)算編碼信息率X; （2分） （4）i|-算編碼后信息傳輸率/?; （2分） （5）計(jì)算編碼效率巾 （2分） R( =4xl0%xy 0.5/5 五、（16分）一個(gè)一階馬爾可夫信

8、源，轉(zhuǎn)移概率為 2 , P（S1I5i） = -,P（S2IS1） = -,P（51IS2） = 1,P（52IS2） = 0. （1）畫(huà)出狀態(tài)轉(zhuǎn)移圖。（4分） 計(jì)算穩(wěn)態(tài)概率。（4分） 計(jì)算馬爾可夫信源的極限嫡。（4分） 計(jì)算穩(wěn)態(tài)下HH2及其對(duì)應(yīng)的剩余度。（4分） 解： 由公式p(sj = p(ssjp(sj 2 2 P(SJ =若 P(SJSJP(SJ = P(SJ + P(S2) 1 P(S2) = P(S2I5,)P(SJ = -P(51) P(Sj + P(S2)= l P(SJ =扌 6)=4 （3）該馬爾可夫信源的極限爛為: 施= P(SJ P(SSjlog P(SSj (】y-1

9、 3 2 ,2311 =x xlogx xloe- 4 3 3 4 3 = 1x0.578 + 1x1.599 24 =0.681b/ 符號(hào) =0.472 na/ 符號(hào) =0.205 hart/ 符號(hào) 在穩(wěn)態(tài)下: M 3 11 二-乂卩(入)logP(xJ = _ -xlog-+-xlog- =0811b/符號(hào) ii 44 44； H2 = Hx =0.205 hart/符號(hào)=0.472 nat/ 符號(hào)= 0.681 bit/符號(hào) 對(duì)應(yīng)的剩余度為 0.811 rn 7jvv = 0.189 _ -log! - + 二log _ 2賈2丿2賈2丿丿 12 0.681 六、設(shè)有擾信道的傳輸情況分別

10、如圖所示。試求這種信逍的 信道容量。 Y 解：信道傳輸矩陣如下 Pyix = 可以看出這是一個(gè)對(duì)稱(chēng)信道, C = log4-/f-,-,0,o !2 x 2/3 12/15 4/5 X 3/20 1/20 1/5 49/60 11/60 1/5 H(XY) = H fl 1 H(ZIX)= -H(l,0)+ -H 丄，丄= 0.5肋 2 2 、2 2 丿 (4) I(X.Y) = H(Y)-H(YX) = H(Y)-H(Y) = O = 1.404/ 符號(hào) =0.973)nat/符號(hào) =0.423 hart/ 符號(hào) /(y)=H(49/60,11/60)=0.687M/楞=0476創(chuàng)楞=020

11、7加”/ 符號(hào) /(X,Z)= H(Z) H(ZIX) = 0811305 = 0.3113b 八、(10分)設(shè)離散無(wú)記憶信源的概率空間為 X = v, V ,通過(guò)干擾信道，信道輸出端的接收符號(hào) 0.8 0.2. 集為y=yy2信道傳輸概率如下圖所示。 /(xiy)=/(xr)-/(r)=o.7i7to/符號(hào)丸鋤加/陸司恥伽/符號(hào) H(Y1X卜H(XY卜H(X卜0 (8) 計(jì)算信道疑義度H(XIY)： 計(jì)算噪聲H(YX), x2 勺 耳 _ PLo.5 0.25 0250.125_ ，則其無(wú)記憶二 次擴(kuò)展信源的嫡H(F) = () A、1. 75比特/符號(hào)； B、3. 5比特/符號(hào); C、9比

12、特/符號(hào)；D、18比特/符號(hào)。 2、信 道 轉(zhuǎn) 移 矩 陣 為 4也) p(”/G 0 0 0 0 0 0 P()火) P(也) 0 0 0 0 0 0 P(”g) p(u 0.250.50.25 0.25 0.250.5，則它是 0.50.250.25 信道(填 一 _ 3-4 1-4 1-4 3-4 其中P(兒/兀)兩兩不相等，則該信道為 3、A、一一對(duì)應(yīng)的無(wú)噪信道 B、具有并歸性能的無(wú)噪信道 C、對(duì)稱(chēng)信道 D、具有擴(kuò)展性能的無(wú)噪信道 3、設(shè)信道容量為C,下列說(shuō)法正確的是：() A、互信息量一定不大于C B、交互嫡一定不小于C C、有效信息量一定不大于C D、條件嫡一定不大于C 4、在吊聯(lián)

13、系統(tǒng)中，有效信息量的值() A、趨于變大 B、趨于變小 C、不變 D、不確定 5、若BSC信道的差錯(cuò)率為P,則其信道容量為: () A、H(P) log2 (1-小店 c、1 %) 對(duì)稱(chēng)，準(zhǔn)對(duì)稱(chēng))，其信道容量是比 特/信道符號(hào)。 三、(2分鮎通過(guò)-個(gè)干擾信 道，接受符號(hào)集為Y= 必,信道轉(zhuǎn)移矩陣為 試求(1) H(X),H(Y),H(XY); (7 分) (2) H(Y|X),H(X|Y); (5 分) (3) I(Y;X)o (3 分) (4) 該信道的容量C (3分) (5) 當(dāng)平均互信息量達(dá)到信道容量時(shí)，接收端 Y的爛H (Y)o (2分) 計(jì)算結(jié)果保留小數(shù)點(diǎn)后2位，單位為比特/符 號(hào)。

14、 四、(9分)簡(jiǎn)述平均互信息量的物理意義，并寫(xiě)出 應(yīng)公式。 D、-Plog(P) 二、填空題(20分，每空2分) 1、(74)線性分組碼中，接受端收到分組R的位 數(shù)為伴隨式S可能的值有_種, 差錯(cuò)圖案e的長(zhǎng)度為,系統(tǒng)生成矩 陣Gs為行的矩陣，系統(tǒng)校驗(yàn)矩陣 耳為_(kāi) 行的矩陣，Gs和比滿(mǎn)足的關(guān) 系式是o 2、香農(nóng)編碼中,概率為卩3)的信源符號(hào)O q=lim-=log2 1 十 5答：香農(nóng)公式為 bills 它是 島斯加性白噪聲信道在貳位時(shí)間內(nèi)的信道容址.其值取決于信噪比和 帶寬。 2）求該信道的信道容量和最佳輸入分布。 101g_L_=30 dB -=1000 由抨得弘爐 ,則 Ct =50001

15、og2 （1 + 1000） = 49836 bit Is 瓦? H（X） 6答：只要L 10g29當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編 碼。 7答：、IRVC時(shí).只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼 規(guī)則.使譯碼錯(cuò)誤概率無(wú)窮小。 S答 1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。 3答:1）二元碼的碼字依序9： 10. 11, 010, 011. 1010. 1011. 1000, 1001 o 平均碼長(zhǎng)厶=2 6勿符號(hào)，編碼效率廿97 2）三元碼的碼字依序?yàn)椋?. 00. 02. 20. 21. 22, 010, 011。 平均碼長(zhǎng)厶7勿仃符號(hào)，編碼效率巧=0少36 0=0 2）因?yàn)槭ж懢仃囍忻?/p>