近代信息論-第二章.ppt

第二章 信道和信道容量,&6-9,主要內(nèi)容,第六節(jié) 連續(xù)信道的容量 第七節(jié) 信道的組合 第八節(jié) 波形信道 第九節(jié) 有記憶非白噪聲信道,第六節(jié)：連續(xù)信道的容量,高斯信道的容量 高斯信道的定義、性質(zhì) 高斯信道的信道容量 一般情形：加性干擾信道容量的上下界 上界 下界,高斯信道,定義：,信道,X,Y=X+N,N,性質(zhì)： 條件概率P(y|x) = 噪聲N的概率P(N); I(X,Y)=Hc(Y)-Hc (N),證明,條件概率：P(y|x)=P(N)證明,2. I(X,Y)=Hc(Y)-Hc (N)證明,高斯信道的信道容量,設(shè)輸入X平均功率受限 Pwi 設(shè)輸出Y平均功率受限 Pwo 要使得Y的熵H(Y)最大，Y必定是均值為零，方差為Pwo的高斯變量N(0, Pwo)。,限平均功率的最大熵定理,高斯信道的信道容量,可以通過提高輸入功率來(lái)增大C,上界,加性干擾信道容量（一般情形）,一般信道有非加性干擾，無(wú)法解得信道容量，而對(duì)疊加性干擾信道，雖無(wú)法解得C，但可得上下界。,下界,加性干擾信道容量（一般情形）,下界,綜合上下界，對(duì)于加性信道：,加性干擾信道容量（一般情形）,可見，高斯信道是最差的信道，或者說，高斯干擾就是最壞的干擾。 實(shí)際中，在未知噪聲分布時(shí)，一般假設(shè)為高斯噪聲，這樣做最保險(xiǎn)。,back,第七節(jié)：信道的組合,獨(dú)立并聯(lián)信道 和信道 級(jí)聯(lián)信道,獨(dú)立并聯(lián)信道,獨(dú)立信道,定義聯(lián)合平均互信息,獨(dú)立并聯(lián)信道,當(dāng)個(gè)信道獨(dú)立時(shí)，分別求各信道的互信息,獨(dú)立并聯(lián)信道各信道的互信息,第一信道,第二信道,第N信道,以上求和,結(jié)論：,獨(dú)立并聯(lián)信道,1,2,當(dāng)輸入變量相互獨(dú)立時(shí)，且各信道輸入分布使信道達(dá)到各自信道容量Ck時(shí)，,討論： 對(duì)于“離散無(wú)記憶信道，N次擴(kuò)展”,獨(dú)立并聯(lián)信道,信道,時(shí)分信道：時(shí)間離散無(wú)記憶信道 各時(shí)間單元干擾不同，可看作獨(dú)立并列信道 假設(shè)各信道均為高斯信道：,和信道（并信道）,定義： 任一時(shí)間隨機(jī)的選用，信道1或信道2（兩者不能同時(shí)選用），選信道1的概率P1,選信道2的概率P2，且P1 +P2 =1。 組合信道的輸入 組合信道的輸出 轉(zhuǎn)移概率 此信道稱為和信道或并信道。,例：GSM, 雙頻,定理：信道1與信道2的和信道的信道容量C滿足： 推廣：N個(gè)獨(dú)立信道的和信道，若各分信道的信道容量為Cn,則和信道的信道容量為 每個(gè)信道被使用的概率為：,和信道（并信道）信道容量,級(jí)連信道（串行信道）,可先計(jì)算總的轉(zhuǎn)移概率，然后用常規(guī)法計(jì)算C. 可證明，若N個(gè)轉(zhuǎn)移概率相同的信道級(jí)連，,信道,信道,back,第八節(jié)：波形信道,定義：信道的輸入、輸出是任意的時(shí)間函數(shù)，則稱信道為波形信道，或時(shí)間連續(xù)信道。 限時(shí)T,限頻F的加性高斯白噪聲信道 Shannon 公式 功率分配,back,限時(shí)T,限頻F的加性高斯白噪聲信道,輸入X(t),輸出Y(t),信道噪聲是高斯白噪聲N(t), Y(t)=X(t)+N(t); X與N相互獨(dú)立 X(t),Y(t)和N(t)都是限頻、限時(shí)T的隨機(jī)過程。 根據(jù)抽樣定理：X,Y,N可用2F頻率抽樣，能轉(zhuǎn)化為時(shí)間間隔為 的n個(gè)隨機(jī)變量組成的隨機(jī)變量。,對(duì)于白噪聲N(t),其功率譜 在-F,F為常數(shù)N0/2,由功率譜與相關(guān)函數(shù)的域變換關(guān)系，得：,限時(shí)T,限頻F的加性高斯白噪聲信道,-F,F,back,Shannon公式,限時(shí)T,限頻F 對(duì)于高斯加性信道,對(duì)于限時(shí)T,限頻F的信號(hào),back,功率分配（限時(shí)限頻）,獨(dú)立并列信道，信道容量 設(shè)輸入功率恒定,問題,如何分配功率，即各 如何取值， 才能使 達(dá)到最大,即：各信道輸出功率相等，才能保證聯(lián)合信道容量最大。,重新解,結(jié)論： 噪聲大的信道輸入功率分配額?。?噪聲小的信道輸入功率分配額大， 這樣可使得總的信道容量C增大。,太壞的信道不用,K,注水原理,back,第九節(jié)：有記憶非白噪聲信道,非白噪聲 有串?dāng)_（碼間串?dāng)_）可視為記憶 串音 遠(yuǎn)端FEXT 近端NEXT,前述,加性高斯白噪聲信道（AWGN),實(shí)際,如電話線,信道容量,輸入X(t), 輸出Y(t)； 非白噪聲(colored noise) 是由高斯信源q(t)經(jīng)過LTI：h(t)得到的； Z(t)：高斯白噪聲； X(t), q(t), Z(t) 獨(dú)立。 信道本身的沖激響應(yīng)：g(t) 非白噪聲干擾可看作白噪聲通過一個(gè)線性時(shí)不變?yōu)V波器(LTI filter),建模,信道容量,時(shí)域:,頻域:,G1,X1,Y1,Z1,H1,Q1,G2,X2,Y2,Z2,H2,Q2,G3,X3