信息論基礎(chǔ)第一章緒論ppt課件.ppt

課程信息 教材及主要參考書 信息論基礎(chǔ)與應(yīng)用 李梅電子工業(yè)出版社 2016年6月 信息論 基礎(chǔ)理論與應(yīng)用 傅祖蕓電子工業(yè)出版社 2001年8月考核 平時成績20 作業(yè) 考勤 實驗 期末考試80 閉卷 答疑 實踐性教學(xué)內(nèi)容 要求及學(xué)時分配 實驗一 信道容量的迭代算法2學(xué)時實驗二 Huffman編碼2學(xué)時實驗三 通信系統(tǒng)仿真4學(xué)時 備選題目 LZW壓縮編碼 國外參考教材 T M Cover FundamentalofInformationTheory 最為流行的英文教材 為Stanford MIT等學(xué)校的研究生課程選用 數(shù)學(xué)推導(dǎo)適中 強調(diào)概念 作為參考教材R G Gallager InformationTheoryandReliableCommunication 數(shù)學(xué)推導(dǎo)較為艱深 作為提高教材 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究內(nèi)容 四 信息論的形成和發(fā)展 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究內(nèi)容 四 信息論的形成和發(fā)展 1 概述2 信息的通俗概念3 信息的狹義概念 香農(nóng)信息 4 信息的廣義概念 組成客觀世界的三大基本要素 物質(zhì)能量信息沒有物質(zhì)什么都不存在 沒有能量什么都不會發(fā)生 沒有信息什么都沒有意義 美國學(xué)者歐廷格 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 1 概述 2 信息的通俗概念 信息的通俗概念 消息就是信息 用文字 符號 數(shù)據(jù) 語言 音符 圖片 圖像等能夠被人們感覺器官所感知的形式 把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來 就稱為消息 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 消息中包含信息 消息是信息的載體 2 信息的通俗概念 續(xù)1 信號是表示消息的物理量 包括電信號 光信號等 信號中攜帶著消息 信號是消息的載體 信息 信號 消息 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 3 信息的狹義概念 香農(nóng)信息 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 香農(nóng)信息 信息是對事物運動狀態(tài)或存在方式的不確定性的描述 通信的基本問題是在一點 信宿 精確或近似恢復(fù)另一點 信源 所選擇的消息 香農(nóng) 通信的過程就是消除不確定性的過程 3 信息的狹義概念 香農(nóng)信息 續(xù)1 第一章 緒論 例1 甲袋紅 白球各50個 乙袋紅 白 藍 黑球各25個 比較從甲袋中取出一個球是紅球的事件和從乙袋中取出一個球是紅球的事件發(fā)生的難易程度 也就是事件發(fā)生的不確定性 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 3 信息的狹義概念 香農(nóng)信息 續(xù)2 第一章 緒論 例2 北京地區(qū)十月份可能出現(xiàn)的天氣包括 晴 陰 雨 雪 比較天氣預(yù)報為 晴 和天氣預(yù)報為 雪 給人們帶來的信息量 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 結(jié)論 不確定性的大小與事件發(fā)生的概率有關(guān) 3 信息的狹義概念 香農(nóng)信息 續(xù)3 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 不確定性的大小與事件發(fā)生的概率有關(guān) 因此 信息量可以表示為概率的函數(shù) 不確定性是概率的函數(shù) 3 信息的狹義概念 香農(nóng)信息 續(xù)4 信息與概率的關(guān)系 事件發(fā)生的概率越大 該事件包含的信息量越小 如果一個事件發(fā)生的概率為1 那么它包含的信息量為0 兩個相互獨立事件所提供的信息量應(yīng)等于它們各自提供的信息量之和 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 3 信息的狹義概念 香農(nóng)信息 續(xù)5 某個消息的不確定性 含有的信息量 可以表示為 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 信源的平均不確定性 3 信息的狹義概念 香農(nóng)信息 續(xù)6 第一章 緒論 香農(nóng)信息的優(yōu)點 有明確的數(shù)學(xué)表達式 定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同 認為同一消息對任何收信者 所得信息量相同 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 3 信息的狹義概念 香農(nóng)信息 續(xù)7 第一章 緒論 香農(nóng)信息的局限 沒有考慮收信者的主觀特性和主觀意義 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 4 信息的廣義概念 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 信息是認識主體 人 生物 機器 所感受的和表達的事物運動的狀態(tài)和運動狀態(tài)變化的方式 語法信息語義信息語用信息 第一章 緒論 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究內(nèi)容 四 信息論的形成和發(fā)展 1 通信系統(tǒng)模型2 提高通信系統(tǒng)的性能指標的措施 1 通信系統(tǒng)模型 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 圖1通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)1 信源編碼器信道譯碼器信宿 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 信源 研究內(nèi)容 信源發(fā)出的消息的統(tǒng)計特性離散信源 連續(xù)信源 波形信源有記憶信源和無記憶信源平穩(wěn)信源和非平穩(wěn)信源信源產(chǎn)生信息的速率熵率 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)2 2 編碼器 編碼器的功能 將消息變成適合信道傳輸?shù)男盘柧幋a器包括 信源編碼器信道編碼器調(diào)制器 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)3 第一章 緒論 圖2編碼器的組成 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)4 信源編碼器 去除信源消息中的冗余度 提高傳輸?shù)挠行?第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)5 信道編碼器 將信源編碼后的符號加上冗余符號 提高傳輸?shù)目煽啃?第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 圖3信道編碼示例 1 通信系統(tǒng)模型 續(xù)6 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 思考題 信源編碼去除冗余度 信道編碼卻加上冗余度 為什么要這么做 1 通信系統(tǒng)模型 續(xù)7 調(diào)制器 功能 將信道編碼后的符號變成適合信道傳輸?shù)男盘柲康?提高傳輸效率 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)8 3 信道 狹義信道廣義信道 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)9 研究內(nèi)容 信道的統(tǒng)計特性無噪聲信道 有噪聲信道離散信道 連續(xù)信道 波形信道有記憶信道和無記憶信道恒參信道 平穩(wěn)信道 和隨參信道 非平穩(wěn)信道 單用戶信道和多用戶信道信道傳輸信息的最高速率信道容量 1 通信系統(tǒng)模型 續(xù)10 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 4 譯碼器 譯碼器的功能 從接收到的信號中恢復(fù)消息 包括 解調(diào)器信道譯碼器信源譯碼器 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)11 第一章 緒論 圖4譯碼器的組成 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)12 5 信宿 信宿是消息傳送的對象 人或機器 香農(nóng)信息論不研究信宿 第一章 緒論 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 1 通信系統(tǒng)模型 續(xù)13 第一章 緒論 提高有效性 數(shù)據(jù)壓縮 信源編碼 無失真信源編碼和限失真信源編碼提高可靠性 可靠傳輸 信道編碼 2 提高通信系統(tǒng)性能指標的措施 研究內(nèi)容 形成和發(fā)展 什么是信息 通信系統(tǒng)模型 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究內(nèi)容 四 信息論的形成和發(fā)展 1 信息論研究的主要問題2 什么是信息論3 信息論的應(yīng)用 1 信息論研究的主要問題 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 狹義信息論 又稱香農(nóng)信息論 一般信息論 也叫工程信息論 廣義信息論 1 信息論研究的主要問題 續(xù)1 1 什么是信息 如何度量信息 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 2 怎樣確定信源輸出信息的速率 3 對于一個信道 它傳輸信息的最高速率 信道容量 是多少 1 信息論研究的主要問題 續(xù)2 4 無失真信源編碼 所需要的最少碼符號數(shù)是多少 第一章 緒論 香農(nóng)第一定理 如果編碼后的信源序列的編碼信息率不小于信源的熵 那么一定存在一種無失真信源編碼方法 否則 不存在這樣的一種無失真信源編碼方法 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 1 信息論研究的主要問題 續(xù)3 5 在有噪聲信道中 有沒有可能實現(xiàn)幾乎無差錯的傳輸信息 第一章 緒論 香農(nóng)第二定理 如果信道的信息傳輸率小于信道容量 那么總可以找到一種編碼方式 使得當編碼序列足夠長時傳輸差錯任意小 否則 不存在使差錯任意小的信道編碼方式 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 1 信息論研究的主要問題 續(xù)4 6 如果信源編碼時 允許一定的失真 那么信源編碼所需要的最少碼符號數(shù)又是多少 第一章 緒論 香農(nóng)第三定理 對于任意的失真度 只要碼字足夠長 那么總可以找到一種編碼方法 使編碼后的編碼信息率 而碼的平均失真度 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 信息論是通信的數(shù)學(xué)基礎(chǔ) 它以概率論為主要數(shù)學(xué)工具 詳細研究了通信中的各個關(guān)鍵環(huán)節(jié) 以定理的形式給出了信源編碼 信道編碼的理論極限 為各種具體的通信技術(shù)提供了理論上的指導(dǎo) 信息論創(chuàng)立的標志 香農(nóng)于1948年發(fā)表的論文 AMathematicalTheoryofCommunication 通信的數(shù)學(xué)理論 2 什么是信息論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 第一章 緒論 2 什么是信息論 續(xù)1 以概率論 隨機過程為基本研究工具 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 研究的是通信系統(tǒng)的整個過程 而不是單個環(huán)節(jié) 并以編 譯碼器為重點 關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能 并不具體設(shè)計系統(tǒng) 要求信源為隨機過程 不研究信宿 信息論的特點 信息論幫助通信工程師從全局的觀點觀察和設(shè)計通信系統(tǒng) 信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識 香農(nóng)信息論的目標是研究通信系統(tǒng)的信息傳遞 而不是幫助人們理解信息含義 香農(nóng)信息論有它的局限性 2 信息論的應(yīng)用 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 2 信息論的應(yīng)用 續(xù)1 通信的基本問題是在一點精確地或近似地恢復(fù)另一點 信源 所選擇的消息 通常 這些消息是有含義的 但是這些語義方面的問題與通信問題無關(guān) 而重要的方面是實際消息是從一個可能的消息集合中選擇出的一條消息 香農(nóng) 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 2 信息論的應(yīng)用 續(xù)2 信息論的應(yīng)用舉例語音信號壓縮 G 711 GSM Vocoder 計算機文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他 音頻信號壓縮MP3 圖象信號的壓縮JPEG MPEG等 第一章 緒論 通信系統(tǒng)模型 形成和發(fā)展 什么是信息 研究內(nèi)容 第一章 緒論 一 什么是信息 二 通信系統(tǒng)模型 三 信息論的研究內(nèi)容 四 信息論的形成和發(fā)展 1 技術(shù)背景2 理論背景3 香農(nóng)的主要工作 1 技術(shù)背景 當時通信理論與技術(shù)已有較大的發(fā)展 存在的通信技術(shù)包括 電報 Morse 1838 電話 Bell 1876 無線電報 Marconi 1887 調(diào)幅廣播 1900 s早期 單邊帶調(diào)制 Carson 1922 電視 1925 1927 調(diào)頻廣播 Armstrong 1936 脈沖編碼調(diào)制 Reeves 1937 1939 聲碼器 Dudley 1939 擴頻通信 1940 s 等 第一章 緒論 通信系統(tǒng)模型 研究內(nèi)容 什么是信息 形成和發(fā)展 2 理論背景 1948年以前 Nyquist Hartley Wiener做了許