對稱信道與弱對稱信道的信道容量

1、1、對稱信道、對稱信道矩陣的行矩陣的行可可置換置換矩陣矩陣中每一行都是集合中每一行都是集合中各元素的不同中各元素的不同排列排列矩陣矩陣的列可的列可置換置換矩陣中每矩陣中每一列都是一列都是集合集合中各元素的不同中各元素的不同排列排列對稱信道對稱信道信道轉(zhuǎn)移概率矩陣信道轉(zhuǎn)移概率矩陣既行可置換又列可既行可置換又列可置換置換q,q,qM21p,p,pN21pppp) 1/1 (P) 1/0(P)0/1 (P)0/0(P)X/Y(P)X/Y(PX/Y1：二進制對稱信道例p, p,p, p行可置換行可置換p, p,p, p列可置換列可置換6/13/13/16/13/16/16/13/1) 1/3(P) 1

2、/2(P) 1/1 (P) 1/0(P)0/3(P)0/2(P)0/1 (P)0/0(P)X/Y(P)X/Y(PX/Y422對稱信道：例6/1 , 3/1 , 3/1 , 6/1,3/1 , 6/1 , 6/1 , 3/1行可置換行可置換6/1 , 3/1,3/1 , 6/1,3/1 , 6/1,6/1 , 3/1列可置換列可置換2、對稱信道、對稱信道的信道容量的信道容量信道容量信道容量C達到信道容量達到信道容量C的信源概率的信源概率P(X)q,q,q(HMlogC1M21N, 2 , 1iN1)x(Pi對稱信道行可置換對稱信道行可置換)q,q,q(Hqlogqqlogq)x(P)x/y(Pl

3、og)x/y(P)x(P)x/y(Plog)x/y(P)x(P)X/Y(H1M21M1jjjN1iM1jjjiN1iM1jijijiN1iM1jijiji)q,q,q(HMlog)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxC1M21?1M21)X(P)X(P)X(P信宿等概率是否可達？信宿等概率是否可達？對稱信道列可置換，不失一般性對稱信道列可置換，不失一般性，記信道轉(zhuǎn)移概率矩陣，記信道轉(zhuǎn)移概率矩陣1NN1N3221pppppppp)X/Y(P如果信宿如果信宿等等概率概率M1)x(Pp)x(Pp)x(Pp)x(Pp)y(PM1)x(Pp)x(Pp)x(Pp)x(

4、Pp)y(PN11NN23122NN1N1N22111)x(P)x(P)x(PN21解出N, 2 , 1iN1)x(P1)x(NP)x(PiiN1iipppp)X/Y(P)X/Y(PX/Y3：二進制對稱信道例求信道容量求信道容量C及達到及達到C的信源概率的信源概率P(X)plogpplogp1)p(H2logC21) 1 (P) 0(P6/13/13/16/13/16/16/13/1)X/Y(P)X/Y(PX/Y424對稱信道：例求信道容量求信道容量C及達到及達到C的信源概率的信源概率P(X)bit(082. 061log61231log3122)61,61,31(H4logC21) 1 (P

5、) 0(P3、弱對稱信道、弱對稱信道弱對稱信道弱對稱信道信道轉(zhuǎn)移概率矩陣行信道轉(zhuǎn)移概率矩陣行可可置換置換，且按列分，且按列分為為s個不相交的子信道，各子信道個不相交的子信道，各子信道的轉(zhuǎn)移概率矩陣的轉(zhuǎn)移概率矩陣既行可置既行可置換又列可換又列可置換置換1001) 1/1 (P) 1/e (P) 1/0(P)0/1 (P)0/e (P)0/0(P)X/Y(P)X/Y(PX/Y5：二進制刪除信道例1 , 0,0 ,1行可置換行可置換按列按列分為兩個分為兩個不相交的子不相交的子信道信道1001) 1/ 1 (P) 1/0(P) 0/ 1 (P) 0/0(P)X/Y(P11 , 0,0 ,1行可置換行可

6、置換1 , 0,0 ,1列可置換列可置換) 1/e (P) 0/e (P)X/Y(P2,行可置換行可置換, 列可置換列可置換4、弱對稱信道的信道容量、弱對稱信道的信道容量信道容量信道容量C達到信道容量達到信道容量C的信源概率的信源概率P(X)個子信宿的平均概率為第個子信宿的消息個數(shù)，為第其中kPkm)q,q,q(HPlogPmCkk1M21s1kkkkN, 2 , 1iN1)x(Pi弱對稱信道弱對稱信道行可置換行可置換)q,q,q(Hqlogqqlogq)x(P)x/y(Plog)x/y(P)x(P)x/y(Plog)x/y(P)x(P)X/Y(H1M21M1jjjN1iM1jjjiN1iM1

7、jijijiN1iM1jijiji)q,q,q(HMlog)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxC1M21?1M21)X(P)X(P)X(P信宿等概率是否可達？信宿等概率是否可達？9 . 01 . 0001 . 09 . 0)X/Y(P設如果信宿如果信宿等等概率概率31)x(P9 . 0)y(P31)x(P1 . 0)x(P1 . 0)y(P31)x(P9 . 0)y(P23212110)x(P)x(P0)x(P1 . 0)x(P8 . 02121矛盾！信宿等概率不可達矛盾！信宿等概率不可達按列分為按列分為s個不相交的子信道，各子信道個不相交的子信道，各子

8、信道的轉(zhuǎn)移概率矩陣的轉(zhuǎn)移概率矩陣既行既行可置換又列可可置換又列可置換置換對應對應于各子于各子信道信道的子的子信宿等概率是否可達？信宿等概率是否可達？)q,q,q(HPlogPm)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxC1M21kks1kk?1M21s1kk)X(P)X(P)X(P弱對稱信道的子信道列弱對稱信道的子信道列可置換，不失一般性可置換，不失一般性，記第，記第k個子信道個子信道的轉(zhuǎn)移概率矩陣的轉(zhuǎn)移概率矩陣s , 2 , 1kpppppppp)X/Y(P1kkNkN1kN3k2k2k1kk如果子信宿如果子信宿等等概率概率s , 2 , 1kP)x(Pp)

9、x(Pp)x(Pp)x(Pp)y(PP)x(Pp)x(Pp)x(Pp)x(Pp)y(PkN1k1NkN23k12k2kkNkN1N1kN22k11k1k)x(P)x(P)x(PN21解出N, 2 , 1iN1)x(P1)x(NP)x(PiiN1iis , 2 , 1kpN1PN1ikik9 . 01 . 0001 . 09 . 0)X/Y(P)X/Y(PX/Y6：二進制刪除信道例求信道容量求信道容量C及達到及達到C的信源概率的信源概率P(X)9 . 0009 . 0)X/Y(P11 . 01 . 0)X/Y(P245. 0)09 . 0(21p21P2m21ii 111，1 . 0) 1 . 01