【精選】信息論與編碼試卷及答案2

1、信息論與編碼試卷及答案2 篇一：信息論與編碼試卷及答案 一、概念簡答題（每題5分，共40分） 1.什么是平均自信息量與平均互信息，比擬一下這兩個概念的異同？ 2.簡述最大離散熵定理。關(guān)于一個有m個符號的離散信源，其最大熵是多少？ 3.解釋信息傳輸率、信道容量、最正確輸入分布的概念，說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？ 4.關(guān)于一個一般的通訊系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。 5.寫出香農(nóng)公式，并說明其物理意義。當信道帶寬為5000hz，信噪比為30db時求信道容量。 6.解釋無失真變長信源編碼定理。 7.解釋有噪信道編碼定理。 8.什么是保真

2、度準那么？對二元信源 時率失真函數(shù)的和？ ，其失真矩陣，求a0二、綜合題（每題10分，共60分） 1.黑白氣象圖的音訊只有黑色和白色兩種，求： 1） 黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個只有兩個符號的信源x的數(shù)學(xué)模型。假設(shè)圖上黑白音訊出現(xiàn)前后沒有關(guān)聯(lián)，求熵； 2） 假設(shè)黑白音訊出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：， ，求其熵 ； ，2.二元對稱信道如圖。； 1）假設(shè)，求和； 2）求該信道的信道容量和最正確輸入分布。 曼碼，計算其平均碼長和編碼效率。 ，試分別構(gòu)造二元和三元霍夫 4.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最小錯誤概率準那么與最大似然譯碼準那么確定譯碼規(guī)那么

3、，并計算相應(yīng)的平均錯誤概率。 5.已經(jīng)明白一（8，5）線性分組碼的生成矩陣為。 求：1）輸入為全00011和10100時該碼的碼字；2）最小碼距。 6.設(shè)某一信號的信息傳輸率為5.6kbit/s，在帶寬為4khz的高斯信道中傳輸，噪聲功率譜no=5×106mw/hz。試求： （1）無過失傳輸需要的最小輸入功率是多少？ （2）如今輸入信號的最大連續(xù)熵是多少？寫出對應(yīng)的輸入概率密度函數(shù)的方式。一、 概念簡答題（每題5分，共40分） 1.答：平均自信息為 表示信源的平均不確定度，也表示平均每個信源音訊所提供的信息量。 平均互信息 表示從y獲得的關(guān)于每個x的平均信息量，也表示發(fā)x前后y的平均

4、不確定性減少的量，還表示通訊前后整個系統(tǒng)不確定性減少的量。 2.答：最大離散熵定理為：離散無經(jīng)歷信源，等概率分布時熵最大。 最大熵值為。 3.答：信息傳輸率r指信道中平均每個符號所能傳送的信息量。信道容量是一個信道所能到達的最大信息傳輸率。信息傳輸率到達信道容量時所對應(yīng)的輸入概率分布稱為最正確輸入概率分布。 平均互信息是信源概率分布的型凸函數(shù)，是信道傳遞概率的u型凸函數(shù)。 4.答：通訊系統(tǒng)模型如下： 數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出x、y、z組成一個馬爾可夫鏈，且有。說明經(jīng)數(shù)據(jù)處理后，一般只會增加信息的損失。 ， 5.答：香農(nóng)公式為 信道容量，其值取決于信噪比和帶寬。 ，它是高斯加性白噪聲信

5、道在單位時間內(nèi)的 由得，那么6.答：只要，當n足夠長時，一定存在一種無失真編碼。 7.答：當rc時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)那么，使譯碼錯誤概率無窮小。 8.答：1）保真度準那么為：平均失真度不大于同意的失真度。 2）由于失真矩陣中每行都有一個0，因此有，而 二、綜合題（每題10分，共60分） 1.答：1）信源模型為 2）由得 那么 2.答：1） 2），最正確輸入概率分布為等概率分布。 3.答：1）二元碼的碼字依序為：10，11，010，011，1010，1011，1000，1001。 平均碼長，編碼效率 2）三元碼的碼字依序為：1，00，02，20，21，22，010，

6、011。 。平均碼長，編碼效率 4.答：1）最小似然譯碼準那么下，有， 2）最大錯誤概率準那么下，有， 5.答：1）輸入為00011時，碼字為00011110；輸入為10100時，碼字為10100101。 2） 6.答：1）無錯傳輸時，有 即那么 2）在時，最大熵 對應(yīng)的輸入概率密度函數(shù)為篇二：信息論與編碼期末題(全套) （一） 7、某二元信源 一、推斷題共 10 小題，總分值 20 分. 1. 當隨機變量x和y互相獨立時，條件熵h(x|y)等于信源熵h(x). （ ） 2. 由于構(gòu)成同一空間的基底不是唯一的，因此不同的基 1?x?0 ?p(x)?1/21/2?，其失真矩陣? ?0a? ，那么

7、該信源的dmax= d?a0? 三、此題共 4 小題，總分值 50 分. 1、某信源發(fā)送端有2種符號xi(i?1,2),p(x1)?a；接收端 底或生成矩陣有可能生成同一碼集.符號 y( j ? 1 ,2) ，轉(zhuǎn)移概率矩陣為 有3 種,3（） 3.一般情況下，用變長編碼得到的平均碼長比定長編碼大得多. （ ） 4. 只要信息傳輸率大于信道容量，總存在一種信道編譯碼，能夠以所要求的任意小的誤差概率實現(xiàn)可靠的通 信（ ） 5. 各碼字的長度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件. （ ） 6. 連續(xù)信源和離散信源的熵都具有非負性. （ ） 7. 信源的音訊通過信道傳輸后的誤差或失真越

8、大，信宿收到音訊后對信源存在的不確定性就越小，獲得的信息量就越小. 8. 漢明碼是一種線性分組碼. （ ） 9. 率失真函數(shù)的最小值是0 . （ ） 10.必定事件和不可能事件的自信息量都是0. （ ） 二、填空題共 6 小題，總分值 20 分. 1 、 碼 的 檢 、 糾 錯 能 力 取 決 于 . 2、信源編碼的目的是的目的是 . 3、把信息組原封不動地搬到碼字前k位的(n,k)碼就叫做 . 4、香農(nóng)信息論中的三大極限定理 是、. 5、設(shè)信道的輸入與輸出隨機序列分別為x和y，那么 i(xn,yn)?ni(x,y)成立的 條件 6、關(guān)于香農(nóng)-費諾編碼、原始香農(nóng)-費諾編碼和哈夫曼編碼，編碼方法

9、唯一的是 . ip?1/21/20? ?1/21/41/4?. ? （1） 計算接收端的平均不確 定度h(y)； （2） 計算由于噪聲產(chǎn)生的不 確定度h(y|x)； （3） 計算信道容量以及最正確入口分布. 2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移 圖2-13 圖如右圖所示， 信源x的符號集為0,1,2. （1）求信源平穩(wěn)后的概率分布； （2）求此信源的熵； （ 3 ）近似地認為此信源為無經(jīng)歷時，符號的概率分布為 平 x ) 穩(wěn)分布.求近似信源的熵h(并與h?進展比擬. 4 、設(shè)二 元( 7 , 4 ) 線 性分組碼的生成矩陣為?1101000?g? 0110100?1110010? . ?101000

10、1? ? （1）給出該碼的一致校驗矩陣，寫出所有的陪集首和與之相對應(yīng)的伴隨式； （2）假設(shè)接收矢量v?(0001011 )，試計算出其對應(yīng)的伴隨式s并按照最小間隔譯碼準那么 試著對其譯碼. （二） 一、填空題（共15分，每空1分） 1、信源編碼的主要目的是 ，信道編碼的主要目的是 。 2、信源的剩余度主要來自兩個方面，一是 ，二 是。 xy 3、三進制信源的最小熵為 ，最大熵為。 4、無失真信源編碼的平均碼長最小理論極限制為 。 5、當時，信源與信道到達匹配。 6、按照信道特性是否隨時間變化，信道能夠分為 和 。 7、按照是否同意失真，信源編碼可分為 和 。 8、假設(shè)連續(xù)信源輸出信號的平均功率

11、為?2，那么輸出信號幅度 的概率密度是 時，信源具有最大熵，其值為值 。 9、在下面空格中選擇填入數(shù)學(xué)符號“?,?,?,?”或“?” （1）當x和y互相獨立時，h（xy）h(x)+h(x/y) h(y)+h(x)。 （2）h?h?x1x2? h?x1x2x3?2?x2h3?x?3 （3）假設(shè)信道輸入用x表示，信道輸出用y表示。在無噪有損信道中，h(x/y) 0, h(y/x) 0,i(x;y)h(x)。 三、（16分）已經(jīng)明白信源 ?s?s1s2s3s4s5s6?p?0.20.20.20.20.10.1? （1）用霍夫曼編碼法編成二進制變長碼；（6分） （2）計算平均碼長l;（4分） （3）計

12、算編碼信息率r?;（2分） （4）計算編碼后信息傳輸率r;（2分） （5）計算編碼效率?。（2分） 四、（10分）某信源輸出a、b、c、d、e五種符號，每一個符號獨立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。假設(shè)符號的碼元寬度為0.5?s。計算： （1）信息傳輸速率rt。（5分） 五、(16分)一個一階馬爾可夫信源，轉(zhuǎn)移概率為 p?s|s23|s1 11?,p?s21?3 ,p?s1|s2?1,p?s2|s2?0。 (1) 畫出狀態(tài)轉(zhuǎn)移圖。(4分) (2) 計算穩(wěn)態(tài)概率。(4分) (3) 計算馬爾可夫信源的極限熵。(4分) (4) 計算穩(wěn)態(tài)下h1,h2及其對應(yīng)的剩余度。(4分

13、) 六、設(shè)有擾信道的傳輸情況分別如以下圖。試求這種信道的信道容量。七、(16分)設(shè)x、y是兩個互相獨立的二元隨機變量，其取0或1的概率相等。定義另一個二元隨機變量z=xy(一般乘積)。試計算 (1) h?x?,h?z?; (2) h?xy?,h?xz?; (3) h?x|y?,h?z|x?; (4) i?x;y?,i?x;z?; 八、(10分)設(shè)離散無經(jīng)歷信源的概率空間為 ?x?x1x2? p?0.80.2?，通過干擾信道，信道輸出端的接收符號? 集為y?y1,y2?，信道傳輸概率如以以下圖所示。 x1 y1 x2 y2 (1) 計算信源x中事件x1包含的自信息量； (2) 計算信源x的信息熵

14、； (3) 計算信道疑義度h?x|y?； (4) 計算噪聲熵h?y|x?； (5) 計算收到音訊y后獲得的平均互信息量。 信息論根底2參考 一、填空題（共15分，每空1分） 1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。 2、信源的剩余度主要來自兩個方面，一是信源符號間的相關(guān)性，二是信源符號的統(tǒng)計不均勻性。3、三進制信源的最小熵為0，最大熵為log3 2 4、無失真信源編碼的平均碼長最小理論極限制為信源熵（或h(s)/logr= hr(s)）。 5、當r=c或（信道剩余度為0）時，信源與信道到達匹配。 6、按照信道特性是否隨時間變化，信道能夠分為恒參信道和隨參信道。 7、

15、按照是否同意失真，信源編碼可分為無失真信源編碼和限失真信源編碼。 8、假設(shè)連續(xù)信源輸出信號的平均功率為?2 ，那么輸出信號幅度2的概率密度是高斯分布或正態(tài)分布或f?x? 2?x時， 信源具有最大熵，其值為值1 log2?e?22 。 9、在下面空格中選擇填入數(shù)學(xué)符號“?,?,?,?”或“?” （1）當x和y互相獨立時，h（xy）=h(x)+h(x/y)=h(y)+h(x)。 （2）hh?x1x2? h?x1x2x3?2?x?2?h3?x? 3 （3）假設(shè)信道輸入用x表示，信道輸出用y表示。在無噪有損信道中，h(x/y) 0, h(y/x)=0,i(x;y)lt;h(x)。 三、（16分）已經(jīng)明

16、白信源 ?s?s1s2s3s4s5s6? p?0.20.20.20.20.10.1? （1）用霍夫曼編碼法編成二進制變長碼；（6分） （2）計算平均碼長l;（4分） （3）計算編碼信息率r?;（2分） （4）計算編碼后信息傳輸率r;（2分） （5）計算編碼效率?。（2分） （1） s0 s6 1 編碼結(jié)果為： s1?00s2?01s3?100s4?101 s5?110s6?111 6 i?1 （4）r? h?s? ? （5）? h?s?s?logr ? 評分：其他正確的編碼方案：1，要求為即時碼 2，平均碼長 最短 四、（10分）某信源輸出a、b、c、d、e五種符號，每一個符號獨立出現(xiàn)，出現(xiàn)概

17、率分別為1/8、1/8、1/8、1/2、1/8。假設(shè)符號的碼元寬度為0.5?s。計算： （1）信息傳輸速率rt。（5分） （1）r1 t?t? h?x?h?x? ? h?x? 18log18?4?112log2?1log8?1 log2 22 ?31 2log2?2log2?2log2?2bitr?2bitt?s 五、(16分)一個一階馬爾可夫信源，轉(zhuǎn)移概率為 p?s21 1|s1?3,p?s2|s1?3 ,p?s1|s2?1,p?s2|s2?0。 (1) 畫出狀態(tài)轉(zhuǎn)移圖。(4分) (2) 計算穩(wěn)態(tài)概率。(4分) (3) 計算馬爾可夫信源的極限熵。(4分) (4) 計算穩(wěn)態(tài)下h1,h2及其對應(yīng)

18、的剩余度。(4分) 解：(1) 1(2)由公式p?si?2 p?si |sj ?p?sj ? j?1 有? 2 ?p?s1?ps|sps?2p?s1?p?s2? ?1i?i?i?13?2 ? p? ?s1 2?p?s2|si?p?si?p?s1? i?13?p?s1?p?s2?1? ? p?s?3得?1?4 ?p?s12 ?4 (3)該馬爾可夫信源的極限熵為： 22 h?p?si?p?sj|si?logp?sj|si? i?1j?1 ?34?23?log2311 3?4?3?log 3?1 2?0.578?1 4?1.599?0.681bit符號?0.472nat符號?0.205hart(4)

19、在穩(wěn)態(tài)下： 2 ?p?x?3 311?i?logp?xi?i?1 對應(yīng)的剩余度為 0?1?2log?1?1?1? ?2?2log?2? ?2?1? h20.681h?1?0.319 0?1?1?2log?2?1?1? 2log?2? 六、設(shè)有擾信道的傳輸情況分別如以下圖。試求這種信道的信道容量。x y 解：信道傳輸矩陣如下 ?1 1?2200?011?p220?y|x ?1?001 ?22?11?2 2? 能夠看出這是一個對稱信道，l=4,那么信道容量為 c?log4?h?11? ?2,2,0,0? ? l ?logl?p?yj|xi?logp?yj|xi? j?1 ?log4?2?11 2l

20、og 2 ?1bit 七、(16分)設(shè)x、y是兩個互相獨立的二元隨機變量，其取0或1的概率相等。定義另一個二元隨機變量z=xy(一般乘積)。試計算 (1) h?x?,h?z?; (2) h?xy?,h?xz?; (3) h?x|y?,h?z|x?; (4) i?x;y?,i?x;z?;h?x?h?1?2,1? 2?1bit h(2)?h?3?4,1? 4? (2) h?xy?h?x?h?y?1?1?2bit對 h?xz?h?x?h?z|x?1?11?12h?1,0?1? 2h?2,2? (3) h?x|y?h?x?1bit h?z|x? 112h?1,0?2h?11? ?2,2? 八、(10分

21、)設(shè)離散無經(jīng)歷信源的概率空間為 ?x?x1x2? ?p?0.80.2?，通過干擾信道，信道輸出端的接收符號? 集為y?y1,y2?，信道傳輸概率如以以下圖所示。x1 y1 x2 y2 (6) 計算信源x中事件x1包含的自信息量； (7) 計算信源x的信息熵； (8) 計算信道疑義度h?x|y?； (9) 計算噪聲熵h?y|x?； (10) 計算收到音訊y后獲得的平均互信息量。 解： (1) i?x1?log0.8?0.322bit?0.0969hart?0.223nat (2) h?x?h?0.8,0.2?0.722bit?0.5nat?0.217hart符號 (3) h?xy?h?2?3,2

22、15,320,1? 20? (4) (5) (三) 一、 選擇題（共10分，每題2分） 1、有一離散無經(jīng)歷信源x，其概率空間為 ?x?x1 x2x3x4?p?0.50.250.1250.125?，那么其無經(jīng)歷二?次擴展信源的熵h(x2)=( ) a、1.75比特/符號； b、3.5比特/符號； c、9比特/符號； d、18比特/符號。 2、信道轉(zhuǎn)移矩陣為 ?p(1y/1 x)2 p( 1 y/x)0 ?00p3 y(/?2x4p)2y(x?0 0p? 50y3x? 其中p(yj/xi)兩兩不相等，那么該信道為 3、a、一一對應(yīng)的無噪信道 b、具有并歸功能的無噪信道 c、對稱信道 d、具有擴展功

23、能的無噪信道 3、設(shè)信道容量為c，以下說法正確的選項：（） a、互信息量一定不大于c b、交互熵一定不小于c c、有效信息量一定不大于c d、條件熵一定不大于c 4、在串聯(lián)絡(luò)統(tǒng)中，有效信息量的值（） a、趨于變大 b、趨于變小 c、不變 d、不確定 5、假設(shè)bsc信道的過失率為p，那么其信道容量為：（） a、 h?p? p log?1?p ?2?1?b、 ?p?p? ?篇三：信息論與編碼試卷及答案 一、（11）填空題 （1） 1948年，美國數(shù)學(xué)家 香農(nóng)發(fā)表了題為“通訊的數(shù)學(xué)理論”的長篇，從而創(chuàng) 立了信息論。 （2） 必定事件的自信息是 0 。 （3） 離散平穩(wěn)無經(jīng)歷信源x的n次擴展信源的熵等

24、于離散信源x的熵的 n倍 。（4） 關(guān)于離散無經(jīng)歷信源，當信源熵有最大值時，滿足條件為_信源符號等概分布_。 （5） 假設(shè)一離散無經(jīng)歷信源的信源熵h（x）等于2.5，對信源進展等長的無失真二進制編碼， 那么編碼長度至少為 3。 （6） 關(guān)于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼方法唯一的是 香農(nóng)編碼。 （7） 已經(jīng)明白某線性分組碼的最小漢明間隔為3，那么這組碼最多能檢測出_2_個碼元錯誤， 最多能糾正_1_個碼元錯誤。 （8） 設(shè)有一離散無經(jīng)歷平穩(wěn)信道，其信道容量為c，只要待傳送的信息傳輸率r_小于_c（大 于、小于或者等于），那么存在一種編碼，當輸入序列長度n足夠大，使譯碼錯誤概率任意小。 （

25、9） 平均錯誤概率不僅與信道本身的統(tǒng)計特性有關(guān)，還與_譯碼規(guī)那么_和_編碼方 法_有關(guān) 三、（5?）居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的， 而女孩中身高1.6米以上的占總數(shù)的一半。 假設(shè)我們得知“身高1.6米以上的某女孩是大學(xué)生”的音訊，征詢獲得多少信息量？ 解：設(shè)a表示“大學(xué)生”這一事件，b表示“身高1.60以上”這一事件，那么 p(a)=0.25 p(b)=0.5 p(b|a)=0.75（2分） 故p(a|b)=p(ab)/p(b)=p(a)p(b|a)/p(b)=0.75*0.25/0.5=0.375（2分）i(a|b)=-log0.375=1.

26、42bit （1分） 四、（5?）證明：平均互信息量同信息熵之間滿足 i(x;y)=h(x)+h(y)-h(xy) 證明：i?x;y?p?xiyj?log x y pxiyjpxi? ? ? ?p?xiyj?logp?xi?p?xiyj?logpxiyj?（2分） xy?xy?h?x?h?xy? 同理 i?x;y?h?y?hyx （1分） 那么 hyx?h?y?i?x;y? 由于 h?xy?h?x?hyx （1分） 故 ? ? ? h?xy?h?x?h?y?i?x;y? 即 i?x;y?h?x?h?y?h?xy? （1分） 五、（18）.黑白氣象圖的音訊只有黑色和白色兩種，求： 1） 黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個只有兩個符號的