信息論與編碼教學(xué)大綱

1、信息論與編碼課程教學(xué)大綱、課程基本信息課程編號(hào)081011506課程名稱信息論與編碼課程英文名稱Information Theory and Coding總學(xué)時(shí)數(shù)56授課 學(xué)時(shí)44實(shí)踐 學(xué)時(shí)實(shí)驗(yàn) 學(xué)時(shí)習(xí)題課 學(xué)時(shí)12設(shè)計(jì) 學(xué)時(shí)學(xué)分4開(kāi)課單位江西藍(lán)大學(xué)院電子信息工程系類型、層次統(tǒng)招、本科適用專業(yè)通信工程、信息安全、計(jì)算機(jī)信息技術(shù)、信號(hào)與信息處理等先修課程概率論與數(shù)理統(tǒng)計(jì)、線性代數(shù)、信號(hào)與系統(tǒng)、通信原理、C+程序設(shè)計(jì)等課程類別專業(yè)必修課主要教學(xué)參考書信息論與編碼（第2版），清華大學(xué)出版社，曹雪虹、張宗橙編寫2009年2月信息論與糾錯(cuò)編碼（第2版）電子工業(yè)出版社，孫麗華、陳榮伶編著2009年8月本

2、課 程 任 務(wù) 和 目 的信息論與編碼是通信工程、信息安全、計(jì)算機(jī)信息技術(shù)等專業(yè)本科生必修的 專業(yè)理論課程，通過(guò)本課程的學(xué)習(xí)，使學(xué)生了解和掌握信息度量和信道容量的基本概 念和理論、典型信源和信道特性、信源編碼定理和信道編碼定理，以及信源編碼和信 道編碼的基本理論和方法和技術(shù)，為以后深入學(xué)習(xí)信息與通信類課程，為將來(lái)從事信 息處理方面的實(shí)際工作打下堅(jiān)實(shí)的基礎(chǔ)。教學(xué)大綱制訂 單位電子信息工程系電子信息教研室教學(xué)大綱制訂時(shí)間2010-2二、課程內(nèi)容及基本要求第一章緒論課程內(nèi)容：1 信息論之父-香農(nóng)；信息論與香農(nóng)信息論的形成與發(fā)展；香農(nóng)信息論的中心問(wèn)題及其局限性；2信息、消息、信號(hào)、信息的本質(zhì)、信息的廣

3、義性；3通信系統(tǒng)基本模型：信源、信宿、信道、干擾、噪聲、信源編碼、信道編碼。 基本要求：1了解信息論之父 -Shannon（ 香農(nóng) ） 和香農(nóng)信息論的基本思想及其局限性； 了解信息論的形成與發(fā)展過(guò)程； 了解香農(nóng)信息論的基本思想 （中心問(wèn)題） 及其適 用范圍； 2理解消息、信息與信號(hào)的含義；理解消息、信息與信號(hào)之間的聯(lián)系與區(qū)別； 3熟悉通信系統(tǒng)的基本模型及各模塊的主要功能。本章重點(diǎn) 香農(nóng)信息論的中心問(wèn)題、通信系統(tǒng)模型本章難點(diǎn)： 信息、消息與信號(hào)的聯(lián)系與區(qū)別；香農(nóng)信息論的局限性 第二章 信源、信息量和信息熵課程內(nèi)容：1無(wú)記憶信源與有記憶信源、離散信源與連續(xù)信源、離散序列信源、馬爾可夫 信源、離散無(wú)

4、記憶信源、離散無(wú)記憶序列信源；2非平均信息量、信源熵、條件信息量、條件熵、噪聲熵、損耗熵、聯(lián)合熵、 非平均互信息、平均互信息；3熵的性質(zhì)、離散無(wú)記憶信源的序列熵、離散有記憶信源的序列熵； 4數(shù)據(jù)處理中信息的變化、連續(xù)信源熵； 5凸函數(shù)、互信息量的凸性，冗余度?；疽螅?了解并掌握信源的分類與特點(diǎn)；2理解并掌握非平均信息量、信源熵、互信息量、條件熵、聯(lián)合熵、非平均互信息量、平均互信息的概念，計(jì)算；理解并掌握信源熵、信宿熵、噪聲熵、 損耗熵、平均互信息之間的關(guān)系；3理解馬爾可夫信源的概念、理解離散序列信源熵的概念；4理解熵的性質(zhì)、熵的唯一性原理；理解連續(xù)信源的熵及連續(xù)熵的性質(zhì)；5理解凸函數(shù)的含義

5、和性質(zhì)；了解凸函數(shù)在信息論中的應(yīng)用。本章重點(diǎn)： 非平均自信息量、條件信息量、互信息量、條件互信息量、熵、條件 熵、熵的性質(zhì)本章難點(diǎn)： 平均互信息量、熵、離散序列信源熵、馬爾可夫信源、條件熵、噪聲 熵、損耗熵第三章 信源編碼課程內(nèi)容：1編碼的定義與分類；奇異碼與非奇碼；唯一可譯碼與非唯一可譯碼；即時(shí)碼 與非即時(shí)碼；克拉夫特不等式；碼樹；平均碼長(zhǎng)的計(jì)算；信息傳輸速率； 2無(wú)失真信源編碼；定長(zhǎng)碼與定長(zhǎng)編碼定理；變長(zhǎng)碼與變長(zhǎng)編碼定理；最佳變 長(zhǎng)碼編碼定理；香農(nóng)編碼及其過(guò)程；費(fèi)諾編碼及其過(guò)程；哈夫曼編碼及其過(guò)程； 3限失真信源編碼；常用信源編碼 - 游程編碼、算術(shù)編碼、預(yù)測(cè)編碼、變換編 碼。基本要求：1

6、理解并掌握編碼的分類及特點(diǎn)；掌握平均碼長(zhǎng)的計(jì)算；掌握碼樹的使用；2理解無(wú)失真信源編碼的含義；掌握定長(zhǎng)碼的特點(diǎn)與編碼原理；掌握不定長(zhǎng)編碼的特點(diǎn)與編碼原理；3掌握離散無(wú)記憶信源的等長(zhǎng)編碼及不等長(zhǎng)編碼；掌握香農(nóng)編碼原理、掌握費(fèi)諾編碼原理；掌握哈夫曼編碼原理；4了解常用限失真信源編碼方法 算術(shù)編碼、游程編碼、預(yù)測(cè)編碼及變換編碼 的編碼原理。本章重點(diǎn)： 編碼的分類、平均碼長(zhǎng)、定長(zhǎng)碼、變長(zhǎng)碼、哈夫曼編碼本章難點(diǎn)： 香農(nóng)編碼、費(fèi)諾編碼、哈夫曼編碼第四章 信息率失真函數(shù)課程內(nèi)容：1失真函數(shù)、失真矩陣、均方失真、絕對(duì)失真、相對(duì)失真、誤碼失真、平均失 真；丿、52信息率失真函數(shù)；信息率失真函數(shù)的性質(zhì)：下凸性、連續(xù)

7、性和單調(diào)遞減性； 信息率失真函數(shù)與信道容量的比較；信息率失真的計(jì)算?；疽螅?1了解失真函數(shù)及其意義并掌握信息失真的幾種表示；掌握失真函數(shù)的性質(zhì)； 2理解信息率失真與信道容量的聯(lián)系與區(qū)別；3掌握信息率失真的計(jì)算。本章重點(diǎn)： 失真函數(shù)、平均失真、信息率失真的計(jì)算本章難點(diǎn)： 信息率失真的性質(zhì)第五章 信道及其容量課程內(nèi)容：1信道的分類；信道的參數(shù)；信道的描述；信道容量；2離散單符號(hào)無(wú)干擾信道及其容量；對(duì)稱離散無(wú)記憶信道及其容量；準(zhǔn)對(duì)稱離散無(wú)記憶信道及其容量；一般離散無(wú)記憶信道及其容量； 3離散序列信道及其容量； 4連續(xù)單符號(hào)加性干擾信道及其容量；獨(dú)立并行信道及其容量；串行信道及其 容量；和信道及其

8、容量?；疽螅?1了解信道概念及分類；理解離散信道模型；掌握信道容量的含義； 2掌握離散無(wú)記憶信道及信道容量的計(jì)算；掌握單符號(hào)加性干擾信道特點(diǎn)其容 量計(jì)算；掌握獨(dú)立并行信道、串行信道、和信道等的特點(diǎn)與容量的計(jì)算； 3掌握離散序列無(wú)記憶連續(xù)信道容量特點(diǎn)及其計(jì)算。本章重點(diǎn)： 信道分類與信道模型、 無(wú)干擾離散無(wú)記憶信道、 加性干擾無(wú)記憶信道 本章難點(diǎn)： 離散序列信道及容量第六章 信道編碼課程內(nèi)容：1信道編碼的基本概念；譯碼規(guī)則；錯(cuò)誤概率；信道編碼定理； 2差錯(cuò)與差錯(cuò)控制系統(tǒng)分類；信道糾錯(cuò)編碼基本思想與方法、譯碼方法； 3線性分組碼的概念；系統(tǒng)碼；對(duì)偶碼；生成矩陣；監(jiān)督矩陣；碼距；碼重； 分組碼的檢

9、錯(cuò)與糾錯(cuò)能力；線性分組碼的實(shí)現(xiàn)；漢明碼的概念；漢明碼的構(gòu)造； 4循環(huán)碼的定義；循環(huán)的多項(xiàng)式描述；循環(huán)碼的生成多項(xiàng)式與生成矩陣；循環(huán) 碼的校驗(yàn)多項(xiàng)式與校驗(yàn)矩陣； 循環(huán)碼的生成多項(xiàng)式的編碼實(shí)現(xiàn)； 循環(huán)碼的校驗(yàn)多 項(xiàng)式的編碼實(shí)現(xiàn)；循環(huán)碼的譯碼；伴隨式概念與計(jì)算； BCH 碼的概念； BCH 碼 的特征與編碼方法；5卷積碼的概念；卷積碼的矩陣描述和多項(xiàng)式描述；卷積碼的狀態(tài)圖形表示；卷積碼的樹圖表示； 卷積碼的網(wǎng)格圖表示； 卷積碼的最大似然譯碼 - 維特比譯碼； 維特比譯碼步驟?；疽螅?了解信道編碼的目的、信道譯碼規(guī)則；理解錯(cuò)誤概率（誤碼率）的概念； 了解信道編碼定理； 理解信道糾錯(cuò)編碼基本思想與方

10、法、 譯碼方法； 理解并掌握 差錯(cuò)控制系統(tǒng)分類與方法； 2理解線性分組碼的概念；掌握線性分組碼的生成矩陣、監(jiān)督矩陣的定義、特 點(diǎn)與計(jì)算； 掌握幾種特殊線性分組碼的特點(diǎn)； 理解系統(tǒng)碼的概念； 掌握系統(tǒng)碼的 編碼與譯碼；理解最小漢明距離的概念及其意義；理解并掌握伴隨式的概念 和計(jì)算；理解檢錯(cuò)與糾錯(cuò)性能的含義； 3理解循環(huán)碼的概念與特點(diǎn)；理解并掌握循環(huán)的多項(xiàng)式描述；掌握循環(huán)碼的生 成多項(xiàng)式與生成矩陣的含義與計(jì)算； 掌握循環(huán)碼的校驗(yàn)多項(xiàng)式與校驗(yàn)矩陣的含義 與計(jì)算；掌握循環(huán)碼的生成多項(xiàng)式的編碼實(shí)現(xiàn)； 掌握循環(huán)碼的校驗(yàn)多項(xiàng)式的編碼 實(shí)現(xiàn)；掌握伴隨式概念與循環(huán)碼的譯碼；掌握循環(huán)碼的編碼和編碼電路的設(shè)計(jì)； 4

11、了解卷積碼的概念及其特點(diǎn)；理解卷積碼的多項(xiàng)式描述；掌握卷積碼的狀態(tài) 轉(zhuǎn)移圖與柵格畫法；了解維特比譯碼算法。本章重點(diǎn)： 線性分組碼、循環(huán)碼、卷積碼本章難點(diǎn)： 循環(huán)碼、卷積碼三、實(shí)驗(yàn)環(huán)節(jié)和基本要求四、學(xué)時(shí)分配表:學(xué)環(huán)節(jié)教學(xué)時(shí)數(shù)課程內(nèi)容講課實(shí)驗(yàn)實(shí)踐習(xí)題課討論課設(shè)計(jì)苴丿、他小計(jì)第一章緒論22第一早信源、信息量與熵12214第三章信源編碼10414第四章信息率失真函數(shù)628第五章信道、信道容量66第六章信道編碼8412總計(jì)441256五、課程教學(xué)大綱的有關(guān)說(shuō)明1 本課程本屬理論性較強(qiáng)、較抽象的課程，課堂教學(xué)應(yīng)淡化和簡(jiǎn)化嚴(yán)格數(shù)學(xué)形式的推導(dǎo)過(guò)程，學(xué)生學(xué)習(xí)聽(tīng)課的積極性會(huì)更高2本課程教學(xué)過(guò)程中應(yīng)多采用啟發(fā)式、互動(dòng)式教學(xué)方法，將枯燥繁雜的數(shù)學(xué)推導(dǎo)過(guò)程變得易于學(xué)生接受。六、考核方式 本門課程采取多種考核方式，包括：課堂提問(wèn)與課堂討論、平時(shí)