信息論與編碼理論(試題集+帶答案+各種題型)

引論一、填空（40）1．1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。2．按照信息的性質(zhì)，可以把信息分成語法信息、語義信息和語用信息。3．按照信息的地位，可以把信息分成客觀信息和主觀信息。4．人們研究信息論的目的是為了高效、可靠、安全地交換和利用各種各樣的信息。5．信息的可度量性是建立信息論的基礎(chǔ)。6．統(tǒng)計度量是信息度量最常用的方法。7．熵是香農(nóng)信息論最基本最重要的概念。8．事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數(shù)來描述的。9．在認識論層次上研究信息的時候，必須同時考慮到形式、含義和效用三個方面的因素。10．信息的基本概念在于它的不確定性。11．香農(nóng)信息定義為實物運動狀態(tài)或存在方式的不確定性描述。12．把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量為信號。13．消息中包含信息，它是信息的載體，一則消息可以載荷不同的信息，可以通過得到消息從而獲得信息。14．可靠性、有效性、保密性和認證性體現(xiàn)了現(xiàn)代通信系統(tǒng)對信息傳輸?shù)娜嬉蟆?5．信源是產(chǎn)生消息和消息序列的源。16．信源輸出的消息是隨機的、不確定的，但又有一定的規(guī)律性。17．編碼器的作用是把消息變換成信號，并將信源和信道進行匹配。18．編碼器可以分為信源編碼器和信道編碼器。19．信源編碼器對信源輸出的消息進行適當(dāng)?shù)淖儞Q和處理，以提高信息傳輸?shù)男省?0．信道編碼器對消息進行適當(dāng)?shù)奶幚砗妥儞Q，以提高信息傳輸?shù)目煽啃浴?1．信道是傳輸信號的通道。22．譯碼器是把信道輸出的編碼信號進行反變換。23．譯碼器分為信源譯碼器和信道譯碼器。24．信宿是消息的傳送的對象。25．信息是對事物運動狀態(tài)和變化方式的表征，他存在與任何事物中，可以被認識主題獲取和利用。26．研究信息傳輸系統(tǒng)的目的就是要找到信息傳輸過程中的共同規(guī)律，以提高信息傳輸?shù)目煽啃?、有效性、保密性和認證性，使信息傳輸系統(tǒng)達到最優(yōu)化。27．同一消息可以用不同的信號來表示，同一信號也可以表示不用的消息。28．通信系統(tǒng)的模型包括，信源、編碼器、信道、譯碼器、信宿、噪聲源。29．消息是信息的外殼、信息則是消息的內(nèi)核30．信號是信息的載體，信息是信號所載荷的內(nèi)容。二．單選（20）1．1948年，美國數(shù)學(xué)家(B)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。A．哈萊特B．香農(nóng)C．牛頓D．維納2.按照信息的地位，可以把信息分成（C）。A．客觀信息B．主觀信息C．客觀信息和主觀信息D．狹義信息3.（A）是對事物運動狀態(tài)和變化方式的表征，他存在與任何事物中，可以被認識主題獲取和利用。A．信息B．信源C．熵D．編碼4.譯碼器是把信道輸出的編碼信號進行（A）。A．反變換B．正變換C．編碼D．調(diào)制5.消息中包含信息，它是信息的（B），一則消息可以載荷不同的信息，可以通過得到消息從而獲得信息。A．形式B．載體C．內(nèi)容D．主體6.信息的（C）是建立信息論的基礎(chǔ)。A．安全性B．可靠性C．可度量性D．有效性7.（D）是信息度量最常用的方法。A．尺寸度量B．相似性度量C．可用性度量D．統(tǒng)計度量8.信息的基本概念在于它的（A）。A．不確定性B．安全性C．可靠性D．可度量性9.把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量為（B）。A．信源B．信號C．信息D．信道10．信號是信息的（C）。A．內(nèi)容B．主體C．載體D．源11．（D）是對事物運動狀態(tài)和變化方式的表征，他存在與任何事物中，可以被認識主題獲取和利用。A．信號B．信源C．信道D．信息12．信源是產(chǎn)生消息和消息序列的（A）。A．源B．內(nèi)容C．載體D．主體13．事物的不確定度是用時間統(tǒng)計發(fā)生（B）來描述的。A．概率B．概率的對數(shù)C．可能性D．相似性14．研究信息傳輸系統(tǒng)的目的就是要找到信息傳輸過程中的共同規(guī)律，使信息傳輸系統(tǒng)達到最優(yōu)化，不包括提高信息傳輸?shù)模–）。A．有效性B．安全性C．實時性D．可靠性15.（D）的作用是把消息變換成信號，并將信源和信道進行匹配。A.譯碼器B.信源C.信道D.編碼器16.信源編碼器對信源輸出的消息進行適當(dāng)?shù)淖儞Q和處理，以提高信息（A）。A.傳輸?shù)男蔅.傳輸?shù)陌踩訡.傳輸?shù)目煽啃訢.傳輸?shù)娜萘?7.信道編碼器對消息進行適當(dāng)?shù)奶幚砗妥儞Q，以提高信息傳輸（B）。A.傳輸效率B.可靠性C.安全性D.信道容量18.通信系統(tǒng)的模型不包括：（C）。A.信源B.譯碼器C.天線D.編碼器19.在認識論層次上研究信息的時候，必須同時考慮到（C）三個方面的因素。A.形式、含義和安全性B.形式、載體和安全性C.形式、含義和效用D.內(nèi)容、載體和可靠性20.（D）是香農(nóng)信息論最基本最重要的概念A(yù).信源B.信息C.消息D.熵三．簡答（20）1.通信系統(tǒng)模型如下：

2.信息和消息的概念有何區(qū)別？答：消息有兩個特點：一是能被通信雙方所理解，二是能夠互相傳遞。相對于消息而言，信息是指包含在消息中的對通信者有意義的那部分內(nèi)容，所以消息是信息的載體，消息中可能包含信息。3.信息論研究的范疇是什么？答：信息論的研究范疇可分為三種：狹義信息論、一般信息論、廣義信息論4.什么是誤碼率？什么是誤信率？兩者有何關(guān)系？答：誤碼率是指錯誤接收的碼元數(shù)在傳送總碼元數(shù)中所占的比例，即碼元在傳輸系統(tǒng)中被傳錯的概率。誤信率是指錯誤接收的信息量在傳送信息總量中所占的比例，即碼元的信息量在傳輸系統(tǒng)中被丟失的概率。二進制系統(tǒng)中誤碼率與誤信率相等，但在多進制系統(tǒng)中，誤碼率與誤倍率一般不相等，通常誤碼率大于誤倍率。5.什么是碼元速率？什么是信息速率？兩者有何關(guān)系？答：碼元傳輸速率，又稱為碼元速率或傳碼率。碼元速率又稱為波特率，指每秒信號的變化次數(shù)。信息速率（Rb）：指每秒傳送的信息量。單位為“bit/s”。碼元速率：單位時間（1秒）傳送碼元的數(shù)目。信息速率：單位時間內(nèi)傳遞的平均信息量或比特數(shù)。6.相比于模擬通信系統(tǒng)，簡述數(shù)字通信系統(tǒng)的優(yōu)點。答：抗干擾能力強，中繼時可再生，可消除噪聲累計；差錯可控制，可改善通信質(zhì)量；便于加密和使用DSP處理技術(shù)；可綜合傳輸各種信息，傳送模擬系統(tǒng)時，只要在發(fā)送端增加莫屬轉(zhuǎn)換器，在接收端增加數(shù)模轉(zhuǎn)換器即可。7.簡述信息的性質(zhì)。答：存在普遍性；有序性；相對性；可度量性；可擴充性；可存儲、傳輸與攜帶性；可壓縮性；可替代性；可擴散性；可共享性；時效性；8.簡述信息的分類。答；按照性質(zhì)分為：語法信息、語義信息、語用信息；按照地位分：客觀信息和主觀信息；按照作用分：有用信息、無用信息、干擾信息；9.信息論的研究范疇包括哪幾方面？答：狹義信息論、實用信息論、廣義信息論。10.闡述通信系統(tǒng)的模型，并簡述每一個部分的作用。答：通信系統(tǒng)包括信源、編碼器、信道、譯碼器、信宿、噪聲。信源是產(chǎn)生消息和消息序列的源；編碼器的作用是把消息變換成信號，并將信源和信道進行匹配；譯碼器是把信道輸出的編碼信號進行反變換；信道是傳輸信號的通道；信宿是消息傳輸?shù)膶ο螅唇邮障⒌娜嘶驒C器。四．名詞解釋（0）五．計算（20）1.同時擲一對骰子，要得知面朝上點數(shù)這和，描述這一信源的數(shù)學(xué)模型。2.設(shè)有一個二街二元馬爾科夫信源，其四中狀態(tài)的轉(zhuǎn)移概率矩陣為：畫出狀態(tài)圖并求穩(wěn)態(tài)下個狀態(tài)出現(xiàn)的概率。p(s0)=0.8p(s0)+0.5p(s2)p(s1)=0.2p(s0)+0.5p(s2)p(s2)=0.5p(s1)+0.3p(s3)p(s3)=0.5p(s1)+0.7p(s3)p(s0)+p(s1)+p(s2)+p(s3)=1p(s0)=，p(s1)=p(s2)=，p(s3)=3.有一個二元對稱信道，信道的誤碼率，設(shè)該信道呀1000個符號/秒的速率傳輸輸入符號，現(xiàn)有一消息序列，共有9500個符號，并設(shè)消息中，問從信息傳輸?shù)慕嵌葋砜紤]，10秒能否將消息無失真地傳送完成？Pe=q(0)p+q(1)p=0.06(1-0.06)﹡1000﹡10=9400<9500即不能4.求二元刪除信道的二次擴展信道。信息量和熵一、填空（120）1.平均自信息為，表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。2.平均互信息,表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。3.最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。4.最大熵值為:5.一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負值。6.自信息量的單位一般有比特、奈特和哈特。7.必然事件的自信息是0。8.不可能事件的自信息量是∞。9.兩個相互獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量之和。10.數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。11.按照信源發(fā)出的消息在時間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。12.一個隨機事件的自信息量定義為其出現(xiàn)概率對數(shù)的負值。13．事件之間所以有互信息是因為兩個事件之間統(tǒng)計相關(guān)。14．事件與事件之間的互信息量為15．一類信源輸出的消息常常以一個個符號的形式出現(xiàn)，這些符號的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。16．連續(xù)信源可以用隨機過程來描述。17．離散信源分為單符號信源和多符號信源。18．一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量。19．自信息量定義為概率對數(shù)的負值。20．若隨機事件發(fā)生的概率為，那么它的自信息量為。21．在信息論中，常用的對數(shù)底為2時，信息量的單位為比特（bit）。22．一個以等概率出現(xiàn)的二進制碼（0,1）所包含的自信息量為1bit。23．說明該事件是必然事件，所以不含任何信息量。24.是的單調(diào)遞減函數(shù)。25．概率越大的事件，不確定性越小，發(fā)生后提供的信息量就越小。26.是一個隨機量，而是的函數(shù)，所以自信息量是一個隨機變量。27．兩個隨機事件相互獨立時，同時發(fā)生得到的自信息量，等于這兩個隨機事件各自發(fā)生得到的自信息量之和。28．條件自信息量定義為條件概率對數(shù)的負值。29.設(shè)條件下，發(fā)生的條件概率為，那么它的自信息量為。30．聯(lián)合自信息量和條件信息量滿足非負性和單調(diào)遞減性。31．簡單通信系統(tǒng)的模型包含的四部分分別為信源、有擾信道、信宿、干擾源。32．的后驗概率與先念概率的比值的對數(shù)為對的互信息量。33．在信息論中，互信息量等于自信息量減去條件自信息量。34．當(dāng)X和Y相互獨立時，互信息為0。35．信源各個離散消息的自信息量的數(shù)學(xué)期望為信源的平均信息量，也稱信息熵。36．信源熵實質(zhì)上是無記憶信源平均不確定度的度量。37．信源熵的單位是bit/sign（比特/符號）。38．在離散信源的情況下，信源熵的值是有限的。39．信源熵反映了變量的隨機性。40.若隨機事件發(fā)生的概率為，那么它的信源熵為41.在事件個數(shù)相同的情況下，事件等概率出現(xiàn)的情況下集的熵值最大。42．熵的性質(zhì)包括對稱性、非負性、確定性、擴展性、可加性、極值性。43．兩個概率分布和的相對熵定義為.44．平均互信息量描述了兩個集合之間，一個集合中事件出現(xiàn)后所給出的關(guān)于另一個集合中事件出現(xiàn)的信息量的平均值。45．各種熵、互信息等shannon信息度都可以表示為熵和條件熵的線性組合。46．各種熵、互信息等shannon信息度都可以看成平均條件互信息量的特例。47．若一個K維矢量的所有分量為非負的，且和為1，就稱為概率矢量。48．概率矢量是全體所構(gòu)成的區(qū)域是凸。49．信息不等式表示為.50．當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。51．對于信宿收到的信號或數(shù)據(jù)，常常需要進行適當(dāng)?shù)奶幚恚允馆敵鱿⒆儞Q成更加有用的形式，這種處理方式為數(shù)據(jù)處理。52．在信息論中，信源是發(fā)出消息的源。53．運用概率論和隨機過程的理論來研究信息，這是香農(nóng)信息論的基本點。54．離散信源是指發(fā)出時間和幅度上都是離散分布的。55．連續(xù)信源是指發(fā)出時間和幅度上都是連續(xù)分布的。56．每次只發(fā)出一個符號代表一個消息的信源叫做發(fā)出單個符號的無記憶信源。57．每次測量都是隨機的，可用連續(xù)型隨機變量X來描述，這樣的信源就是發(fā)出單個符號的連續(xù)無記憶信源。58．每次發(fā)出1組含有2個以上福海的符號序列來代表一個消息的信源叫做發(fā)出符號序列的信源。59．在離散無記憶的信源中，信源輸出的每個符號是統(tǒng)計獨立的，且具有相同的概率空間，則該信源是離散平穩(wěn)無記憶信源。60．一般認為，通信系統(tǒng)中的信號都是平穩(wěn)遍歷的隨機過程。61．條件概率與時間起點無關(guān)，則信源輸出的符號序列可以看成齊次馬爾科夫鏈，這樣的信源叫做齊次馬爾科夫信源。62．概率為的符號的自信息量為.63．發(fā)出符號序列的臉無記憶信源發(fā)出的消息的信息量為64．符號的概率為，則有，，0。65．符號的概率為，則有，，。66．自信息量是與概率分布有關(guān)的一個隨機變量。67．平均自信息量只與信源各符號出現(xiàn)的概率有關(guān)，可以用來表征信源輸出信息的總體特征。68．平均自信息為，表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。69．平均互信息為,表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。70．最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。71．香農(nóng)定理中，為保證足夠大的信道容量，可采用用頻帶換信噪比和用信噪比換頻帶兩種方式。72．單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。73．一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負值。74．自信息量的單位一般有比特、奈特和哈特。75．離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。76．離散平穩(wěn)有記憶信源的極限熵，。77．對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。78．一維連續(xù)隨即變量在區(qū)間內(nèi)均勻分布時，其信源熵為。79．平均功率為的高斯分布的連續(xù)信源，其信源熵:。80．對于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時連續(xù)信源熵具有最大值。81．對于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時，信源熵有最大值。82．對于均值為0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值和信源的熵功率之比。83．若把擲骰子的結(jié)果作為一離散信源，則其信源熵為。84．同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時出現(xiàn)”這件事的自信息量是。85．若一維隨即變量X的取值區(qū)間是，其概率密度函數(shù)為，其中：，m是X的數(shù)學(xué)期望，則X的信源熵。86．一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為。87．按照信源發(fā)出的消息在時間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。88．信息的基本概念在于它的不確定性。89．一個隨機事件的自信息量定義為其出現(xiàn)概率對數(shù)的負值。90．信息論不等式：對于任意實數(shù)，有，當(dāng)且僅當(dāng)時等式成立。91．設(shè)信源為，則信源的熵為比特/符號，如信源發(fā)出由個“0”和個“1”構(gòu)成的序列，序列的自信息量為比特/符號。92．離散對稱信道輸入等概率時，輸出為等概率分布。93．離散信源，則信源的熵為1.75bit/符號。94．齊次馬爾可夫信源的一步轉(zhuǎn)移概率矩陣為P，穩(wěn)態(tài)分布為W，則W和P滿足的方程為W=WP。95．某離散無記憶信源，其符號個數(shù)為，則當(dāng)信源符號呈等概分布情況下，信源熵取最大值。96．在信息處理中，隨著處理級數(shù)的增加，輸入消息和輸出消息之間的平均互信息量趨于減少。97．設(shè)的取值受限于有限區(qū)間，則服從均勻分布時，其熵達到最大；如的均值為，方差受限為，則X服從高斯分布時，其熵達到最大。98．設(shè)信源包含4個不同離散消息，當(dāng)且僅當(dāng)中各個消息出現(xiàn)的概率為___1/4___時，信源熵達到最大值，為__2__，此時各個消息的自信息量為__2__。99．平均互信息量與信源熵和條件熵之間的關(guān)系是。100．設(shè)信源包含8個不同離散消息，當(dāng)且僅當(dāng)中各個消息出現(xiàn)的概率為__1/8__時，信源熵達到最大值，為___3____。101．自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量越_小___。102．信源的冗余度來自兩個方面，一是信源符號之間的__相關(guān)性__，二是信源符號分布的__不均勻性__。103．在無失真的信源中，信源輸出由來度量；在有失真的信源中，信源輸出由來度量。102．限平均功率最大熵定理指出對于相關(guān)矩陣一定的隨機矢量，當(dāng)它是正態(tài)分布時具有最大熵。105．離散無記憶序列信源中平均每個符號的符號熵等于單個符號信源的符號熵。106．信源的概率分布為，信源的概率分布為，則信源X和Y的熵相等。107．互信息量表示收到后仍對信源的不確定度。108．單符號離散信源的自信息和信源熵都具有非負性。109．自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系為：。110．當(dāng)隨即變量X和Y相互獨立時，條件熵等于信源熵。111．平均互信息量對于信源概率分布和條件概率分布都具有凸函數(shù)性。112．利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來求m階馬爾可夫信源的極限熵。113．三進制信源的最小熵為0，最大熵為bit/符號。114．當(dāng)X和Y相互獨立時，==。115．。116．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，>0,=0，<。117．離散無記憶序列信源中平均每個符號的符號熵等于單個符號信源的符號熵。118．互信息量I(X;Y)表示收到Y(jié)后仍對信源X的不確定度。119．一般的把信息量定義為：收到某消息獲得的信息量等于不確定性減少的量。120．在一個盒子中放有個阻值各為的電阻，將從盒子中取出阻值為的電阻記為事件，則發(fā)生的概率為，這一事件發(fā)生所獲得的信息量為。二．單選（80）1．一般認為，通信系統(tǒng)中的信號都是（A）。A．平穩(wěn)遍歷的隨機過程B．隨機過程C．遍歷過程D．確定過程2．在離散無記憶的信源中，信源輸出的每個符號是統(tǒng)計獨立的，且具有相同的（B），則該信源是離散平穩(wěn)無記憶信源。A．熵B．概率空間C．概率值D．信息源3．每次發(fā)出1組含有（C）個以上的符號序列來代表一個消息的信源叫做發(fā)出符號序列的信源。A．0B．1C．2D．34．每次測量都是隨機的，可用連續(xù)型隨機變量X來描述，這樣的信源就是發(fā)出單個符號的（D）。A．離散無記憶信源B．連續(xù)記憶信源C．離散記憶信源D．連續(xù)無記憶信源5．信息不等式表示為（A）。A．B．C．D．6．下述平均自信息表示正確的是（B）。A．B．C．D．7．在信息論中，最大離散熵定理為離散無記憶信源，等概率分布時熵為（C）。A．最小B．0C．最大D．18．平均互信息表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量,下述表示正確的是（D）。A．B．C．D．9．一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為（A）。A．其發(fā)生概率對數(shù)的負值。B．其發(fā)生概率對數(shù)。C．其發(fā)生概率的和。10．自信息量的單位一般不包括（B）。A．比特B．位C．奈特D．哈特11．必然事件的自信息是（C）。A．0或1B．C．0D．112．兩個相互獨立的隨機變量的聯(lián)合自信息量等于兩個自信息量（D）。A．之比B．之積C．之差D．之和13．事件與事件之間的互信息量定義為（A）。A．B．C．D．14．若隨機事件發(fā)生的概率為，那么它的自信息量為（B）。A．B．C．D．15．在信息論中，常用的對數(shù)底為2時，信息量的單位為（A）。A．比特B．位C．奈特D．哈特16．一個以等概率出現(xiàn)的二進制碼（0,1）所包含的自信息量為（B）。A．2bitB．1bitC．0bitD．3bit17．自信息量是概率的（C）函數(shù)。A．二次B．對數(shù)C．單調(diào)遞減D．單調(diào)遞增18．概率越（D）的事件，不確定性越（D），發(fā)生后提供的信息量就越（D）。A．大，大，小B．大，小，大C．小，小，小D．大，小，小19．簡單通信系統(tǒng)的模型包含包含的部分為（A）。A．調(diào)制及解調(diào)B．信源C．有擾信道D．信宿20．的后驗概率與先念概率的（B）的對數(shù)為對的互信息量。A．差值B．比值C．和D．積21．當(dāng)X和Y相互獨立時，互信息為（C）。A．不存在B．C．0D．122．信源熵反映了變量的（D）。A．確定性B．?dāng)U展性C．遞增性D．隨機性23．若隨機事件發(fā)生的概率為，那么它的信源熵表示為：（A）A．B．C．D．24．．兩個概率分布和的相對熵定義為（B）。A．B．C．D．25．符號的概率為，則有，，（C）。A．1B．2C．0D．26．符號的概率為，則有，，（D）。A．1B．2C．0D．27．平均自信息量只與信源各符號出現(xiàn)的概率有關(guān)，可以用來表征信源輸出信息的（A）。A．總體特征B．不確定度C．可能性D．概率估算28．離散平穩(wěn)有記憶信源的極限熵表述正確是：（B）。A．B．C．D．29．對于n元m階馬爾可夫信源，其狀態(tài)空間共有（C）個不同的狀態(tài)。A．n-mB．n+mC．nmD．n/m30．一維連續(xù)隨即變量在區(qū)間內(nèi)均勻分布時，其信源熵表示正確的是：（D）。A．B．C．D．31．平均功率為的高斯分布的連續(xù)信源，其信源熵表示正確的是：（A）A．B．C．D．32．對于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時連續(xù)信源熵具有（B）A．最小值B．最大值C．極大值D．極小值33．對于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時，信源熵有(C)。A．最小值B．極大值C．最大值D．極小值34．對于均值為0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值和信源的熵功率之（D）。A．積B．差C．和D．比35．若把擲骰子的結(jié)果作為一離散信源，則其信源熵為（A）。A．B．C．D．36．同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時出現(xiàn)”這件事的自信息量是（B）。A．B．C．D．37．若一維隨即變量X的取值區(qū)間是，其概率密度函數(shù)為，其中：，m是X的數(shù)學(xué)期望，則X的信源熵正確的是（C）。A．B．C．D．38．一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵正確的是：（D）。A．B．C．D．39．設(shè)信源為，則信源的熵為（A）比特/符號。A．B．C．D．40．如信源發(fā)出由個“0”和個“1”構(gòu)成的序列，序列的自信息量為（B）比特/符號。A．B．C．D．41．若離散信源表示為，則信源的熵為（C）。A．1.25bit/符號B．1.5bit/符號C．1.75bit/符號D．1bit/符號42．齊次馬爾可夫信源的一步轉(zhuǎn)移概率矩陣為P，穩(wěn)態(tài)分布為W，則W和P滿足的方程為（D）。A．W=W+PB．W=W/PC．W=W-PD．W=WP43．某離散無記憶信源，其符號個數(shù)為，則當(dāng)信源符號呈等概率分布情況下，信源熵取最大值是（A）。A．B．C．D．44．設(shè)信源包含4個不同離散消息，當(dāng)且僅當(dāng)中各個消息出現(xiàn)的概率為1/4時，信源熵達到最大值，為（B），此時各個消息的自信息量為（B）。A．2，3B．2，2C．1，2D．1，345．平均互信息量與信源熵和條件熵之間的關(guān)系是（C）。A．B．C．D．46．設(shè)信源包含8個不同離散消息，當(dāng)且僅當(dāng)中各個消息出現(xiàn)的概率為1/8時，信源熵達到最大值為（D）。A．8B．1C．2D．347．自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量（A）。A．越小B．不變C．為0D．變大48．信源的概率分布為，信源的概率分布為，則信源X和Y的（B）相等。A．概率B．熵C．信息量D．自信息量49．平均互信息量對于信源概率分布和條件概率分布都具有（C）。A．遞增性B．遞減性C．凸函數(shù)性D．凹函數(shù)性50．自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系下述表述正確的是：（D）A．B．C．D．51．下面表達式中正確的是（A）。A．B．C．D．52．率失真函數(shù)的下限為（B）。A.H(U)B.0C.I(U;V)D.沒有下限53．一珍珠養(yǎng)殖場收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測量恰好找出了假珠，不巧假珠又滑落進去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，這一事件給出的信息量（A）。A．0bitB．bitC．6bitD．bit54．一個隨即變量x的概率密度函數(shù)P(x)=x/2，，則信源的相對熵為（C）。A.0.5bitB.0.72bitC.1bitD.1.44bit55．下列離散信源，熵最大的是（D）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)56．同時扔兩個正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點數(shù)之和為12，則得到的自信息為（B）。A．bitB．bitC．bitD．bit57．一個隨即變量x的概率密度函數(shù)P(x)=x/2，，則信源的相對熵為（C）A.0.5bit/符號B.0.72bit/符號C.1bit/符號D.1.44bit/符號58．設(shè)有一個無記憶信源發(fā)出符號A和B，已知，發(fā)出二重符號序列消息的信源，無記憶信源熵為（A）。A.0.81bit/二重符號B.1.62bit/二重符號C.0.93bit/二重符號D.1.86bit/二重符號59．三進制信源的最小熵為0，最大熵為（B）bit/符號A．1B．3C．D．060．當(dāng)X和Y相互獨立時，（A）（A）A．=，=B．=，C．，D．，=61．（B）A．B．C．=D．62．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，(B)0。A．B．C．=D．63．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，（C）0。A．B．C．=D．64．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，（A）。A．B．C．=D．65．離散無記憶序列信源中平均每個符號的符號熵等于單個符號信源的（B）。A．熵B．符號熵C．信息量D．概率值66．在一個盒子中放有個阻值各為的電阻，將從盒子中取出阻值為的電阻記為事件，則發(fā)生的概率為，這一事件發(fā)生所獲得的信息量為。A．B．C．D．68．給定條件下隨機事件所包含的不確定度和條件自信息量，（D）A．?dāng)?shù)量上不等，單位不同B．?dāng)?shù)量上不等，單位相同C．?dāng)?shù)量上相等，單位不同D．?dāng)?shù)量上相等，單位相同68.條件熵和無條件熵的關(guān)系是(C)。A．B．C．D．69.下面哪一項不屬于熵的性質(zhì)：（B）A．非負性B．完備性C．對稱性D．確定性70．連續(xù)信源的熵是（C），不再具有熵的物理含義。A．無窮小B．不存在C．無窮大D．171．若連續(xù)信源輸出信號的平均功率為，則輸出信號幅度的概率密度是高斯分布或正態(tài)分布或時，信源具有最大熵，其值為（D）。。A．B．C．D．72．居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得的信息量為（A）。A．1.42bitB．2.56bitC．1.35bitD．1.2bit73．（B）實質(zhì)上是無記憶信源平均不確定度的度量。A．信息量B．信源熵C．信源D．自信息量74．各種熵、互信息等shannon信息度都可以表示為熵和條件熵的（C）。A．非線性組合B．疊加C．線性組合D．之積75．若隨機事件發(fā)生的概率為，那么它的信源熵為（A）。A．B．C．D．三．簡答（20）1．簡述信息的特征。答：信息的基本概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對它的內(nèi)容是不知道的，所以信息是新知識、新內(nèi)容。信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識。信息可以產(chǎn)生，也可以消失，同時信息可以被攜帶、貯存及處理。信息是可以量度的，信息量有多少的差別。2．簡述平均自信息。答：平均自信息表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。3．簡述平均互信息。答：平均互信息表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。4．最大離散熵定理主要內(nèi)容是？答：離散無記憶信源，等概率分布時熵最大。5．?dāng)?shù)據(jù)處理定理的主要內(nèi)容是？答：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。6．簡述信源的分類。答：按照信源發(fā)出的消息在時間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。7．離散信源是怎樣定義的？答：一類信源輸出的消息常常以一個個符號的形式出現(xiàn)，這些符號的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。8．簡述簡單通信系統(tǒng)的模型。答：簡單通信系統(tǒng)的模型包含的四部分分別為信源、有擾信道、信宿、干擾源。9．簡述信源熵。答：信源各個離散消息的自信息量的數(shù)學(xué)期望為信源的平均信息量，也稱信息熵。10．簡述信源熵的性質(zhì)。答：信源熵的性質(zhì)包括對稱性、非負性、確定性、擴展性、可加性、極值性。11．簡述齊次馬爾科夫信源。答：條件概率與時間起點無關(guān)，則信源輸出的符號序列可以看成齊次馬爾科夫鏈，這樣的信源叫做齊次馬爾科夫信源。12．在香農(nóng)定理中，主要采用什么方式保證足夠大的信道容量？答：用頻帶換信噪比和用信噪比換頻帶兩種方式13．簡述信源熵的物理含義。答：信源熵表示信源輸出后，平均每個離散消息所提取的信息量；信源熵表示信源輸出前，信源的的平均不確定度；反映變量X的隨機性。14．簡述自信息量。答：一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負值。15．簡述離散信源的分類。答：離散信源分為單符號信源和多符號信源。16．簡述平均互信息量與信源熵和條件熵之間的關(guān)系。答：17．信源的冗余度主要來自哪幾個方面？答：信源的冗余度來自兩個方面，一是信源符號之間的相關(guān)性，二是信源符號分布的不均勻性。18．簡述聯(lián)合熵的概念。答：聯(lián)合熵是定義在二維空間XY上的，各個元素的自信息量的統(tǒng)計平均值。19．什么是平均自信息量與平均互信息，比較一下這兩個概念的異同？答：平均自信息為，表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。平均互信息，表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。20．簡述最大離散熵定理。對于一個有m個符號的離散信源，其最大熵是多少？答：最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。最大熵值為。四．名詞解釋（20）1．平均自信息：表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。2．平均互信息：表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。3．自信息量：一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負值。4．離散信源：一類信源輸出的消息常常以一個個符號的形式出現(xiàn)，這些符號的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。5．條件自信息量：條件自信息量定義為條件概率對數(shù)的負值。6．信源熵：信源各個離散消息的自信息量的數(shù)學(xué)期望為信源的平均信息量。7．離散平穩(wěn)無記憶信源：假定隨機變量欲裂的長度是有限的，如果信源輸出地信息序列中，符號之間的無相互依賴關(guān)系，則稱這類信源為離散平穩(wěn)無記憶信源。8．信源冗余度：信源熵的相對率為信源實際的信息熵與同樣符號數(shù)的最大熵的比值9．平穩(wěn)信源：概率分布函數(shù)與時間起點無關(guān)，平穩(wěn)信源是有記憶的，記憶的長度有限。10．香農(nóng)信息：信息是事物運動狀態(tài)或存在方式的不確定性的描述。11．消息(或稱為符號)：信息的數(shù)學(xué)表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學(xué)抽象。五．計算（60）1.同時擲兩個骰子，設(shè)每個骰子各個面朝上的概率是1/6，試求：（1）事件“2和6同時出現(xiàn)”的自信息量；（2）事件“兩個3同時出現(xiàn)”的自信息量；（3）事件“兩個點數(shù)中至少有一個是5”的自信息量；（4）兩個點數(shù)之和的熵。解：（1）（2）（3）（4）2.每幀電視圖像可以認為是3*10^5個像素構(gòu)成，所有像素均獨立變化，且每一像素又取128個不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。問每幀圖像喊多少信息量？如果一個廣播員在約1000個漢字的字匯中選取1000個字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并且彼此獨立）？若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需用多少漢字？解：由于每一象素取128個不同的亮度電平，各個亮度電平等概率出現(xiàn)。因此每個亮度電平包含的信息量為：每幀圖像中像素均是獨立變化的，因此每幀圖像信源就是離散亮度電平信源的無記憶N次擴展。由此，每幀圖像包含的信息量為廣播員在約10000個漢字中選取字匯來口述此電視圖像，各個漢字等概分布，因此每個漢字包含的信息量為廣播員述電視圖像是從這個漢字字匯信源中獨立地選取1000個字進行描述，因此廣播員描述此圖像所廣播的信息量是由于口述一個漢字所包含的信息量為I(Y)，而一幀電視圖像包含的信息量是I(XN)，因此廣播員要恰當(dāng)?shù)孛枋龃藞D像，需要的漢字數(shù)量為：3.設(shè)有12枚同值硬幣，其中有一枚為假幣。只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)用比較天平左右兩邊輕重的方法來測量。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？解：從信息論的角度看，“12枚硬幣中，某一枚為假幣”該事件發(fā)生的概率為“假幣的重量比真的輕，或重”該事件發(fā)生的概率為為確定哪一枚是假幣，即要消除上述兩事件的聯(lián)合不確定性，由于二者是獨立的，因此有:而用天平稱時，有三種可能性：重、輕、相等，三者是等概率的，均為因此天平每一次消除的不確定性為。因此，必須稱的次數(shù)是：因此，至少需稱3次。4.同時扔一對均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c數(shù)之和為2”或“面朝上點數(shù)之和為8”或“兩骰子面朝上點數(shù)是3和4”時，試問這三種情況分別獲得多少信息量？解：“兩骰子總點數(shù)之和為2”有一種可能，即兩骰子的點數(shù)各為1，由于二者是獨立的，因此該種情況發(fā)生的概率為，該事件的信息量為：“兩骰子總點數(shù)之和為8”共有如下可能：2和6.3和5.4和4.5和3.6和2，概率為，因此該事件的信息量為：“兩骰子面朝上點數(shù)是3和4”的可能性有兩種：3和4.4和3，概率為，因此該事件的信息量為：5.摩爾斯電報系統(tǒng)中，若采用點長為0.2s、劃長為0.4s，且點和劃出現(xiàn)的概率分別為2/3.1/3，試求它的信息速率（bps）。解：平均每個符號長為:秒每個符號的熵為比特/符號所以信息速率為比特/秒6.一個八元編碼系統(tǒng)，其碼長為3，每個碼字的第一個符號都相同（用于同步），如若每秒產(chǎn)生1000個碼字，試求其信息速率。解：同步信號均相同不含信息,其余認為等概率,每個碼字的信息量為3*2=6比特；所以信息速率為比特/秒7.擲一對無偏的骰子，若告訴你得到的總點數(shù)為（a）7；（b）12；試求各得到多少信息量。解：(a)一對骰子總點數(shù)為7的概率是所以得到的信息量為比特(b)一對骰子總點數(shù)為12的概率是所以得到的信息量為比特8.經(jīng)過充分洗牌后的一副撲克（含52張撲克），試問：（a）任何一種特定排列所給出的信息量是多少？（b）若從中抽取13張牌，所給出的點數(shù)都不同時得到多少信息量？解：(a)任一特定排列的概率為,所以給出的信息量為比特(b)從中任取13張牌,所給出的點數(shù)都不相同的概率為所以得到的信息量為比特.9.設(shè)有一個非均勻骰子，若其任意一面出現(xiàn)的概率與該面上的點數(shù)成正比，試求各點出現(xiàn)時所給出的信息量，并求擲一次，平均得到的信息量。解：易證每次出現(xiàn)i點的概率為,所以10.園丁植樹一行，若有3棵白楊、4棵白樺、5棵梧桐，設(shè)這12棵樹可以隨機地排列，且每一種排列是等可能的，若告訴你沒有兩棵梧桐樹相鄰時，你得到了多少關(guān)于樹的排列的信息？解：可能有的排列總數(shù)為沒有兩棵梧桐樹相鄰的排列數(shù)可如下圖求得，YXYXYXYXYXYXYXY圖中X表示白楊或白樺，它有種排法，Y表示梧桐樹可以栽種的位置，它有種排法，所以共有*=1960種排法保證沒有兩棵梧桐樹相鄰，因此若告訴你沒有兩棵梧桐樹相鄰時，得到關(guān)于樹排列的信息為=3.822比特11.某校入學(xué)考試中有1/4考生被錄取，3/4的考生未被錄取，被錄取的考生中有50%來自本市，而落榜的考生中有10%來自本市，所有本市的考生都學(xué)過英語，而外地落榜考生中以及被錄取的外地考生中都有40%學(xué)過英語，問：（a）當(dāng)已知考生來自本市時，給出多少關(guān)于考生是否被錄取的信息？（b）當(dāng)已知考生學(xué)過英語時，給出多少有關(guān)考生是否被錄取的信息？（c）以表示是否落榜，以表示是否是本市的學(xué)生，表示是否學(xué)過英語，、和的取值為0或1，試求、、。解：X=0表示未錄取，X=1表示錄取；Y=0表示本市，Y=1表示外地；Z=0表示學(xué)過英語，Z=1表示未學(xué)過英語，由此得12.在A.B兩組人中進行民意測驗，組A中的人有50%講真話（T），30%講假話（F），20%拒絕回答（R），，而組B中有30%講真話（T），50%講假話（F），20%拒絕回答（R）。設(shè)選組A進行測驗的概率為P，若以表示給定T、F、R條件下得到的有關(guān)消息來自組A或組B的平均信息量，試求的最大值。解：令，則13.隨機擲3顆骰子，以X表示第一顆骰子拋擲的結(jié)果，以Y表示第一個和第二個骰子拋擲的點數(shù)之和，以Z表示3顆骰子的點數(shù)之和，試求、、、、。解：解:令X=X1,Y=X1+X2,Z=X1+X2+X3,H(X1)=H(X2)=H(X3)=比特H(X)=H(X1)==2.585比特H(Y)=H(X2+X3)==3.2744比特H(Z)=H(X1+X2+X3)==3.5993比特所以H(Z/Y)=H(X3)=2.585比特H(Z/X)=H(X2+X3)=3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特14.如上題所示，試求解：I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)=3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特I(XY

;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=015.設(shè)有一系統(tǒng)傳送10個數(shù)字，0,1，···9，奇數(shù)在傳送時以0.5的概率錯成另外的奇數(shù)，而其他的數(shù)字總能正確的接收。試求收到一個數(shù)字平均得到的信息量。解：設(shè)系統(tǒng)輸出10個數(shù)字X等概,接收數(shù)字為Y,顯然H(Y)=log10所以I(X;Y)=比特16.令為一等概率的消息集，各消息相應(yīng)的被編成下述二元碼字通過轉(zhuǎn)移概率為P的BSC傳送，試求：（a）接收的第一個數(shù)字0與之間的互信息量。（b）接收的第二個數(shù)字00與之間的互信息量。（c）接收的第三個數(shù)字0000與之間的互信息量。（d）接收的第四個數(shù)字0000與之間的互信息量。解：（a）接收前一個數(shù)字為0的概率（b）同理（c）同理（d）同理17.令是概率空間，試證明下述關(guān)系式成立。（a）,給出等號成立的條件。（b）（c）,給出等號成立的條件。解：(a)等號成立的條件為,對所有,即在給定X條件下Y與Z相互獨立。(b)(c)（由第二基本不等式）或18.設(shè)X是在上為均勻分布的隨機變量，試求。解：(a)(b)令(c)令19.令概率空間，令是連續(xù)隨機變量，已知條件概率密度為試求：（a）的概率密度。（b）解：(a)由已知，（b）20.若連續(xù)信源輸出的幅度被限定在區(qū)域內(nèi)，當(dāng)輸出信號的概率密度是均勻分布時，計算該信源的相對熵，并說明該信源的絕對熵為多少?解：=2bit/自由度該信源的絕對熵為無窮大。21.某信源輸出A、B、C、D、E五種符號，每一個符號獨立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為0.5。計算：（1）信息傳輸速率。（2）將這些數(shù)據(jù)通過一個帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。解：（1）（2）22.已知的聯(lián)合概率為：求，，，解：0.918bit/symbol=1.585bit/symbol0.251bit/symbol23.設(shè)信源為，試求：（1）信源的熵、信息含量效率以及冗余度；（2）求二次擴展信源的概率空間和熵。解：（1）（2）二次擴展信源的概率空間為：X\X1/163/163/169/1624.設(shè)隨機變量和的聯(lián)合概率空間為定義一個新的隨機變量(普通乘積)（1）計算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；（2）計算條件熵H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）；（3）計算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。解：（1）X\Y0101/83/81/213/81/81/21/21/2（2）X\Z0101/201/213/81/81/27/81/8Y\Z0101/201/213/81/81/27/81/8(3)25.設(shè)二元對稱信道的輸入概率分布分別為，轉(zhuǎn)移矩陣為，試求信道的輸入熵，輸出熵，平均互信息量。解：（1）信道的輸入熵；26.一個一階馬爾可夫信源，轉(zhuǎn)移概率為試求馬爾可夫信源的極限熵。解：該馬爾可夫信源的極限熵為：27.設(shè)離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號集為，信道傳輸概率如下圖所示。(1)計算信源中事件包含的自信息量；(2)計算信源的信息熵；(3)計算信道疑義度；(4)計算噪聲熵；(5)計算收到消息后獲得的平均互信息量。解：(1)(2)(3)轉(zhuǎn)移概率：xyy1y2x15/61/6x23/41/4聯(lián)合分布：xyy1y2x12/312/154/5x13/201/201/549/6011/601/5(5)28.二元對稱信道如圖所示，若，，求、和。解：29.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個只有兩個符號的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：，，，，求其熵；解：（1）信源模型為：（2）由題意可知該信源為一階馬爾科夫信源。得極限狀態(tài)概率：30.同時擲一對均勻的子，試求：(1)“2和6同時出現(xiàn)”這一事件的自信息量；(2)“兩個5同時出現(xiàn)”這一事件的自信息量；(3)兩個點數(shù)的各種組合的熵；(4)兩個點數(shù)之和的熵；(5)“兩個點數(shù)中至少有一個是1”的自信息量。解：(3)信源空間：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36(4)信源空間：X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(5)31.如有6行、8列的棋型方格，若有兩個質(zhì)點A和B，分別以等概落入任一方格內(nèi)，且它們的坐標(biāo)分別為（Xa，Ya）,（Xb，Yb）,但A，B不能同時落入同一方格內(nèi)。若僅有質(zhì)點A，求A落入任一方格的平均信息量；若已知A已落入，求B落入的平均信息量；若A，B是可辨認的，求A，B落入的平均信息量。解：32.從大量統(tǒng)計資料知道,男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%.如果你問一位男士：“你是否是紅綠色盲？”他的回答可能是：“是”，也可能“不是”。問這兩個回答中各含有多少信息量？平均每個回答中各含有多少信息量？如果你問一位女士，則她的答案中含有多少平均信息量？解：33.某一無記憶信源的符號集為｛0，1｝，已知求符號的平均信息量；由1000個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”,（1000-m）個“1”）的自信量的表達式；計算（2）中序列的熵。解：34.設(shè)信源X的信源空間為：求信源熵，并解釋為什么H(X)>log6，不滿足信源熵的極值性。解：35.為了使電視圖象獲得良好的清晰度和規(guī)定的對比度，需要用5×105個像素和10個不同的亮度電平，并設(shè)每秒要傳送30幀圖象，所有的像素是獨立的，且所有亮度電平等概出現(xiàn)。求傳輸此圖象所需要的信息率（bit/s）。解：36.設(shè)某彩電系統(tǒng)，除了滿足對于黑白電視系統(tǒng)的上述要求外，還必須有30個不同的色彩度。試證明傳輸這種彩電系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大2.5倍左右。證:37.每幀電視圖像可以認為是由3×105個像素組成，所以像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)。問每幀圖像含有多少信息量？若現(xiàn)在有一個廣播員，在約10000個漢字中選1000個字來口述這一電視圖像，試問若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需要多少漢字？解:38.給定一個概率分布和一個整數(shù)m，。定義，證明：。并說明等式何時成立？證：39.找出兩種特殊分布:p1≥p2≥p3≥…≥pn，q1≥q2≥q3≥…≥qm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：40.兩個離散隨機變量X和Y，其和為Z＝X＋Y，若X和Y統(tǒng)計獨立，求證：H(X)≤H(Z),H(Y)≤H(Z)H(XY)≥H(Z)證明：41.設(shè)信源通過一信道，信道的輸出隨機變量Y的符號集,信道的矩陣：試求：信源X中的符號1和2分別含有的自信息量；收到消息Y＝b1，Y＝b2后，獲得關(guān)于1、2的互交信息量：I(1;b1)、I(1;b2)、I(2;b1)、I(2;b2)；信源X和信宿Y的信息熵；信道疑義度H(X/Y)和噪聲熵H(Y/X)；接收到消息Y后獲得的平均互交信息量I(X;Y)。解:42.某二進制對稱信道，其信道矩陣是：設(shè)該信道以1500個二進制符號/秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二進制符號，并設(shè)在這消息中p(0)=p(1)=0.5。問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真的傳送完。解:43.有兩個二元隨機變量X和Y，它們的聯(lián)合概率為P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定義另一隨機變量Z=XY，試計算：H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。解:44.已知信源X的信源空間為某信道的信道矩陣為：b1b2b3b4試求：(1)“輸入3，輸出b2的概率”；(2)“輸出b4的概率”；(3)“收到b3條件下推測輸入2”的概率。解：45.已知從符號B中獲取關(guān)于符號A的信息量是1比特，當(dāng)符號A的先驗概率P(A)為下列各值時，分別計算收到B后測A的后驗概率應(yīng)是多少。P(A)=10-2；P(A)=1/32；P(A)=0.5。解:46.某信源發(fā)出8種消息，它們的先驗概率以及相應(yīng)的碼字如下表所列。以a4為例，試求：消息a1a2a3a4a5a6a7a8概率1/41/41/81/81/161/161/161/16碼字000001010011100101110111在W4＝011中，接到第一個碼字“0”后獲得關(guān)于a4的信息量I(a4;0)；在收到“0”的前提下，從第二個碼字符號“1”中獲取關(guān)于a4的信息量I(a4;1/0)；在收到“01”的前提下，從第三個碼字符號“1”中獲取關(guān)于a4的信息量I(a4;1/01)；從碼字W4＝011中獲取關(guān)于a4的信息量I(a4;011)。解：47.某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號集為X：{0,1,2}，并定義0012p/2p/2p/2p/2p/2p/2試求信源平穩(wěn)后狀態(tài)“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；求信源的極限熵H∞；p取何值時H∞取得最大值。解：48.某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號集為X：{0,1,2}。試求：(1)試求信源平穩(wěn)后狀態(tài)“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的極限熵H∞；(3)求當(dāng)p=0,p=1時的信息熵，并作出解釋。pppp012解:49.設(shè)某馬爾柯夫信源的狀態(tài)集合S：{S1S2S3}，符號集X：{α1α2α3}。在某狀態(tài)Si(i=1,2,3)下發(fā)發(fā)符號αk(k=1,2,3)的概率p(αk/Si)(i=1,2,3;k=1,2,3)標(biāo)在相應(yīng)的線段旁,如下圖所示.求狀態(tài)極限概率并找出符號的極限概率;計算信源處在Sj(j=1,2,3)狀態(tài)下輸出符號的條件熵H(X/Sj);信源的極限熵H∞.αα2:1/4S1S2S3α3:1/2α2:1/2α1:1α1:1/2α3:1/4解:50.51.52.53.54.55.56.57.58.59.60.信源編碼——離散信源無失真編碼一、填空（80）1．信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的可靠性，加密編碼的目的是保證通信的安全性。2．若要求精確地重現(xiàn)信源的輸出，就要保證信源產(chǎn)生的全部信息無損地傳送給信宿，這時的信源編碼就是無失真編碼。3．一般一對信源-信宿要定出可接收準則或保真度準則。4．信源的具體輸出稱做消息，它包括離散和連續(xù)形式。5．消息之所以含有信息是由于信源產(chǎn)生消息的隨機性。6．離散信源序列為一隨機變量，若彼此統(tǒng)計獨立，相應(yīng)的信源就稱為無記憶信源否則稱為有記憶信源。7．對于有記憶信源，需要用聯(lián)合概率空間描述。8．若信源輸出的隨機序列具有各態(tài)歷經(jīng)性，就稱為各態(tài)歷經(jīng)源。9．若序列的取值只與前面有限個隨機變量有關(guān)，就稱為有限記憶信源。10．若信源輸出既有連續(xù)分量，又有離散分量時，就稱為混合信源。11．若，則可以表示信源輸出的4個不同序列，其中每個碼符號序列稱做碼字。12．對等長元碼，若碼長長度為，則至多有個碼字。13．對不等長元碼，若碼字最長限定為，則至多有個碼字。14．所謂編碼就是從消息集到碼字集上的一種映射。15．若對于每一個消息都至少有一個碼字與之對應(yīng)，且不同的消息對應(yīng)不同的碼字，則稱這樣的碼為唯一可譯碼，否則就稱非唯一可譯碼。16．在無擾傳輸?shù)倪^程中，唯一可譯碼的譯碼錯誤概率為0，故又稱為無錯編碼。17．若對信源輸出的消息（一個符號或一組符號）采用不同長度的碼字表示，這種編碼法為不等長編碼法。18．Morse電碼屬于不等長編碼。19．編碼就是從消息集到碼字集上的一種映射。20．對于唯一可譯碼，若為待編碼消息的個數(shù)，其中為信源符號的個數(shù)，為信源序列長度，則唯一可譯碼存在的充分必要條件是。21．若對有限長的每個源輸出序列，相應(yīng)的碼字序列彼此都可五疑義地區(qū)分開來，這就稱做是唯一可譯的。22．若碼中各碼字都含有一個特定符號，用來指示一個碼字的起始點，就是逗點碼。23．碼屬于逗點碼，其中符號“0”起逗點作用，有利于同步，但為此要降低編碼效率。24．對于碼字,稱為碼字的長為的字頭或前綴。25．若碼中任何一個碼字都不是另一個碼字的字頭，則稱這種碼為異字頭碼。26．碼屬于異字頭碼。27．長度為的D元異字頭碼存在的充分必要條件為：。28．任一唯一可譯碼可用相應(yīng)碼字長度一樣的異字頭碼代替。29．任一唯一可譯碼滿足，存在D元唯一可譯碼，其平均長度滿足：。30．令，則0.811bit。32．對于給定信源，存在最佳唯一可譯二元碼，其最下概率的兩個碼字和的長度最長且不相等，他們之間僅最后一位碼元取值不同。33．離散源的編碼方法有兩種，一是：等長編碼二是：不等長編碼。34．等長編碼信源字母的平均錯誤概率趨近于0。35．只要采用就能實現(xiàn)任意小的譯碼錯誤概率。36．經(jīng)過源編碼后編碼其的輸出變?yōu)榻讵毩⒌雀诺拇a元序列，而且根據(jù)這個碼序列可以精確地恢復(fù)原來的消息序列。37．信源編碼和信道編碼主要解決的兩個問題為：提高傳輸效率和增強通信的可靠性。38．信源編碼包括兩個功能，一是將信源符號變換成合適信道傳輸?shù)姆?；二是壓縮信源冗余度，提高傳輸效率。39．從信源消息到碼字的映射不是一一對應(yīng)的編碼稱為奇異碼。40．對于變長碼，碼集C的平均碼長用符號表示，定義碼C中每一個碼字，其碼長的概率加權(quán)平均值為。41．信道的信息傳輸速率為信道單位時間內(nèi)所傳輸?shù)膶嶋H信息量。42．信息傳輸速率定義為：。43．編碼效率是衡量編碼質(zhì)量的一個重要指標(biāo)。44．對于給定信源，使平均碼長達到最小的編碼方法，稱為最佳編碼。45．給定熵為的離散無記憶信源，及有D個元素的碼符號集，則總可以找到一種無失真編碼方法，構(gòu)成唯一可譯碼。46．常用的變長編碼方法有：香農(nóng)編碼、費諾編碼、霍夫曼編碼。47．一般情況下，對于同一信源，常見的三種編碼方式以霍夫曼編碼得到的平均碼長最短，即編碼效率最高。48．信源編碼是以提高通信有效性為目的的編碼。49．信源編碼通常通過壓縮信源冗余度來提高通信有效性。50．一般情況下，對于同一信源，編碼效率最高的是霍夫曼編碼。51．一般情況下信源編碼可以分為：離散信源編碼、連續(xù)信源編碼、相關(guān)信源編碼和變換編碼。52．如果一個碼的任何一個碼字都不是其他碼字的前綴，則稱該碼為即時碼。53．即時碼可以y用樹圖法來構(gòu)造，對于M元樹圖，在最頂部畫一個起始點，稱為樹根。54．赫夫曼編碼是一種效率比較高的變長無失真信源編碼方法。55．無失真信源編碼的平均碼長最小理論極限制為信源熵（或）。56．根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。57．對于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼方法唯一的是香農(nóng)編碼。58．信源變長編碼的核心問題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。59．若一離散無記憶信源的信源熵等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為3。60．元長度為的異前置碼存在的充要條件是：。61．如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。62．如果規(guī)定平均失真度不能超過某一限定的值，即：。我們把稱為保真度準則。63．對于離散無記憶信源的率失真函數(shù)的最大值是。64．保真度準則下的信源編碼定理的條件是信源的信息率大于率失真函數(shù)。65．某二元信源其失真矩陣D=，則該信源的Dmax=a/2。66．某二元信源其失真矩陣D=，則該信源的=。67．信源編碼的目的是：提高通信的有效性。68．一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。69．連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。70．在香農(nóng)編碼中，第個碼字的長度和之間有關(guān)系。71．對信源進行二進制費諾編碼，其編碼效率為1。72．對具有8個消息的單符號離散無記憶信源進行4進制哈夫曼編碼時，為使平均碼長最短，應(yīng)增加2個概率為0的消息。73．對于二元序列0011100000011111001111000001111111，其相應(yīng)的游程序列是23652457。74．設(shè)無記憶二元序列中，“0”和“1”的概率分別是和，則“0”游程長度L（0）的概率為。75．游程序列的熵等于原二元序列的熵。76．若“0”游程的哈夫嗎編碼效率為，“1”游程的哈夫嗎編碼效率為，且對應(yīng)的二元序列的編碼效率為，則三者的關(guān)系是。77．在實際的游程編碼過程中，對長碼一般采取截斷處理的方法。78．“0”游程和“1”游程可以分別進行哈夫曼編碼，兩個碼表中的碼字可以重復(fù)，但C碼79．定長編碼的效率一般小于不定長編碼的效率。80．在編進制的哈夫曼碼時，要考慮是否需要增加概率為0的碼字，以使平均碼長最短。二．單選（40）1．信源編碼的目的是提高通信的（A），信道編碼的目的是提高通信的（A），加密編碼的目的是保證通信的（A）。A．有效性，可靠性，安全性B．有效性，安全性，可靠性C．安全性，有效性，可靠性D．可靠性，有效性，安全性2．．若要求精確地重現(xiàn)信源的輸出，就要保證信源產(chǎn)生的全部信息無損地傳送給信宿，這時的信源編碼就是（B）。A．失真編碼B．無失真編碼C．信道編碼D．加密編碼3．消息之所以含有信息是由于信源產(chǎn)生消息的（C）。A．可靠性B．安全性C．隨機性D．有效性4．若，則可以表示信源輸出的4個不同序列，其中每個碼符號序列稱做（D）。A．序列B．碼速率C．碼長D．碼字5．對等長元碼，若碼長長度為，則至多有(A)個碼字。A．B．C．D．6．對不等長元碼，若碼字最長限定為，則至多有（B）個碼字。A．B．C．D．7．若對于每一個消息都至少有一個碼字與之對應(yīng)，且不同的消息對應(yīng)（C）的碼字，則稱這樣的碼為唯一可譯碼。A．隨機B．任意C．不同D．相同8．在無擾傳輸?shù)倪^程中，唯一可譯碼的譯碼錯誤概率為（D），故又稱為無錯編碼。A．1B．2C．無窮D．09．對于唯一可譯碼，若為待編碼消息的個數(shù)，其中為信源符號的個數(shù)，為信源序列長度，則唯一可譯碼存在的充分必要條件是（A）。A．B．C．D．10．若碼中各碼字都含有一個特定符號，用來指示一個碼字的起始點，就是（B）。A．異字頭碼B．逗點碼C．變長碼D．非變長碼11．碼屬于逗點碼，其中符號“0”起逗點作用，有利于同步，要（C）編碼效率。A．無影響B(tài)．改變C．降低D．提高12．碼屬于（D）。A．逗點碼B．奇異碼C．非奇異碼D．異字頭碼13．長度為的D元異字頭碼存在的充分必要條件為（A）。A．B．C．D．14．任一唯一可譯碼滿足，存在D元唯一可譯碼，其平均長度滿足：（B）。A．B．C．D．15．令，則（C）。A．0.45bitB．0.60bitC．0.811bitD．0.91bit16．對于給定信源，存在最佳唯一可譯二元碼，其最下概率的兩個碼字和的長度（D），他們之間僅最后一位碼元取值不同。A．最短且相等B．最長且相等C．最短且不相等D．最長且不相等17．等長編碼信源字母的平均錯誤概率為（A）。A．0B．1C．無窮D．218．信源編碼和信道編碼主要解決的兩個問題為：提高（B）和增強通信的（B）。A．傳輸帶寬，可靠性B．傳輸效率，可靠性C．傳輸效率，實時性D．傳輸帶寬，有效性19．從信源消息到碼字的映射不是一一對應(yīng)的編碼稱為（C）。A．異字頭碼B．逗點碼C．奇異碼D．非奇異碼20．對于變長碼，碼集C的平均碼長用符號表示，定義碼C中每一個碼字，其碼長的概率加權(quán)平均值為（D）。A．B．C．D．21．（A）是衡量編碼質(zhì)量的一個重要指標(biāo)。A．編碼效率B．傳輸效率C．可靠性D．實時性22．給定熵為的離散無記憶信源，及有D個元素的碼符號集，則總可以找到一種無失真編碼方法，構(gòu)成（B）。A．異字頭碼B．唯一可譯碼C．非唯一可譯碼D．奇異碼23．一般情況下，對于同一信源，編碼效率最高的是（C）。A．香農(nóng)編碼B．費諾編碼C．霍夫曼編碼D．加密編碼24．（D）是一種效率比較高的變長無失真信源編碼方法。A．香農(nóng)編碼B．費諾編碼C．加密編碼D．霍夫曼編碼25．對于常見的信源編碼，編碼方法唯一的是（A）。A．香農(nóng)編碼B．費諾編碼C．加密編碼D．霍夫曼編碼26．若一離散無記憶信源的信源熵等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為