多媒體應(yīng)用設(shè)計(jì)師備考筆記

1、91/91專(zhuān)題一 多媒體技術(shù)基礎(chǔ)第一章 多媒體計(jì)算機(jī)的定義和關(guān)鍵技術(shù)媒體（Medium）在計(jì)算機(jī)領(lǐng)域中有兩種含義： 1、用以存儲(chǔ)信息的實(shí)體，如磁帶、磁盤(pán)、光盤(pán)和半導(dǎo)體存儲(chǔ)器； 2、信息的載體，如數(shù)字、文字、聲音、圖形 和圖像。 多媒體技術(shù)中的媒體是指后者。多媒體計(jì)算機(jī)技術(shù)定義 計(jì)算機(jī)綜合處理多種媒體信息(文本、圖形、圖象、音頻和視頻)，使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并具有交互性。簡(jiǎn)單地講： 計(jì)算機(jī)綜合處理聲、文、圖信息；具有集成性和交互性；總之多媒體計(jì)算機(jī)具有信息載體多樣性、集成性和交互性。多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)（把一臺(tái)一般計(jì)算機(jī)變?yōu)槎嗝襟w計(jì)算機(jī)要解決的的關(guān)鍵技術(shù) ）(1)視頻音頻信號(hào)

2、獵取技術(shù)；(2)多媒體數(shù)據(jù)壓縮編碼和解碼技術(shù)； (3)視頻音頻數(shù)據(jù)的實(shí)時(shí)處理技術(shù)和特技；(4)視頻音頻數(shù)據(jù)的輸出技術(shù)。 多媒體計(jì)算機(jī)的分類(lèi)家電制造廠商研制的：電視計(jì)算機(jī)靈巧電視SmartTV計(jì)算機(jī)制造廠商研制的：計(jì)算機(jī)電視進(jìn)展方向是TV-killer在多媒體計(jì)算機(jī)進(jìn)展史上卓有成效的公司和系統(tǒng) 1、Philips/Sony公司的CD-I系統(tǒng) 2、Commodore公司的Amiga系統(tǒng)3、Apple公司的HyperCard4、Intel和IBM公司的DVI系統(tǒng)HDTV（High Definition Television 高清晰度電視）特點(diǎn)： (1)采納國(guó)際標(biāo)準(zhǔn)的壓縮 編碼算法MPEG-2。 （能

3、與多媒體計(jì)算機(jī)兼容、通信） (2)采納打包數(shù)據(jù)結(jié)構(gòu) 。（圖像、聲音、及多媒體服務(wù)附加數(shù)據(jù)以包的方式發(fā)送，包可隨即次序傳送、大小動(dòng)態(tài)分配） (3)采納雙層傳輸技術(shù) 。（重要數(shù)據(jù)放到高優(yōu)先級(jí)的載波上傳輸，其他數(shù)據(jù)放到具有標(biāo)準(zhǔn)優(yōu)先級(jí)的載波上傳輸）常規(guī)電視數(shù)字化： 湯姆遜（Thomson）消費(fèi)電子公司通過(guò)休斯銀河（Hughes Galaxy）601衛(wèi)星，開(kāi)創(chuàng)世界首次全數(shù)字直接到戶的衛(wèi)星廣播業(yè)務(wù)（DSS-Digital Satellites System及DBS-Direct Broadcast Service）。 消費(fèi)者專(zhuān)門(mén)容易獲得120到150個(gè)頻道最受歡迎的電視節(jié)目。用戶端只需要購(gòu)置一個(gè)易于安裝的

4、18英寸或常規(guī)碟形天線，一個(gè)和錄像機(jī)體積差不多的接收機(jī)/解碼器以及一個(gè)易于操縱和操作的遙控器。交互式電視技術(shù)（ITV）：最常用的是節(jié)目間的交互， 即VOD系統(tǒng)。典型的VOD系統(tǒng)要緊由下述四部分組成：（1）視頻服務(wù)器； （2）編碼器/路由器； （3）用戶請(qǐng)求計(jì)算機(jī)和記帳計(jì)算機(jī)；（4）機(jī)頂盒 多媒體計(jì)算機(jī)技術(shù)在常規(guī)電視和高清晰度電視，影視節(jié)目制作中的應(yīng)用分成兩個(gè)層次：影視畫(huà)面的制作；影視的后期制作（如非線性編輯器）。用多媒體技術(shù)制作V-CD 及影視音響卡拉OK機(jī)多媒體數(shù)據(jù)壓縮和解壓縮技術(shù)是多媒體計(jì)算機(jī)系統(tǒng)中的關(guān)鍵技術(shù)，首次將此技術(shù)應(yīng)用到VCD播放機(jī)中的是美國(guó)C-Cube公司。VCD問(wèn)世于1993年

5、，是多家公司聯(lián)合制定的數(shù)字電視視盤(pán)技術(shù)標(biāo)準(zhǔn)。安徽合肥萬(wàn)燕公司在世界上首先利用MPEG國(guó)際標(biāo)準(zhǔn)和CD光盤(pán)技術(shù), 研制了全功能影視音響卡拉OK機(jī)CDK-320。VCD播放機(jī)，由CD-ROM驅(qū)動(dòng)器、MPEG解壓卡及操縱操作電路組成。DVD與VCD的不同只是視頻和音頻的編碼標(biāo)準(zhǔn)不同，兩者的原理是一樣的。DVD的視頻和音頻編碼標(biāo)準(zhǔn)是MPEG-2或者AC-3而不是MPEG-1。V-CD播放系統(tǒng)要緊有下述兩種產(chǎn)品：MPEG播放卡、V-CD播放機(jī) 多媒體家庭網(wǎng)關(guān) 用戶輸入用戶輸入應(yīng)用本地應(yīng)用 應(yīng)用服務(wù)應(yīng)用本地應(yīng)用 應(yīng)用服務(wù)衛(wèi)星天線衛(wèi)星天線系統(tǒng)軟件電視機(jī)系統(tǒng)軟件電視機(jī)硬件驅(qū)動(dòng)MHG硬件驅(qū)動(dòng)MHG硬件資源立式PC

6、立式PC硬件資源立式PC立式PCMHG（多媒體家庭網(wǎng)關(guān)）數(shù)據(jù)流向圖MHG結(jié)構(gòu)圖一般認(rèn)為，多媒體技術(shù)研究的興起從（ 1984年，美國(guó)Apple公司推出Macintosh系列機(jī)）開(kāi)始 多媒體創(chuàng)作工具的分類(lèi)： 基于時(shí)刻的創(chuàng)作工具；基于圖符（Icon）或流線（Line）創(chuàng)作工具；基于卡片（Card）和頁(yè)面（Page）的創(chuàng)作工具；以傳統(tǒng)程序語(yǔ)言為基礎(chǔ)的創(chuàng)作工具。 多媒體創(chuàng)作工具的應(yīng)用：制作各種電子出版物、教材、參考書(shū)、地圖、醫(yī)藥衛(wèi)生、商業(yè)手冊(cè)及游戲娛樂(lè)節(jié)目。多媒體應(yīng)用系統(tǒng)、演示系統(tǒng)或信息查詢系統(tǒng)、導(dǎo)游系統(tǒng)；培訓(xùn)和教育系統(tǒng)；娛樂(lè)、視頻動(dòng)畫(huà)及廣告等等。多媒體數(shù)據(jù)庫(kù)的研究途徑： (1)在現(xiàn)有商用數(shù)據(jù)庫(kù)治理系統(tǒng)

7、的基礎(chǔ)上增加接口，以滿足多媒體應(yīng)用的需要；（有用，效率低） (2)建立基于一種或幾種應(yīng)用的專(zhuān)用多媒體信息治理系統(tǒng)；（易實(shí)現(xiàn)，缺乏通用性，可擴(kuò)展性差） (3)從數(shù)據(jù)模型入手，研究全新的通用多媒體數(shù)據(jù)庫(kù)治理系統(tǒng) （研究和進(jìn)展的主流，難度較大）多媒體數(shù)據(jù)庫(kù)要解決的關(guān)鍵技術(shù)問(wèn)題： (1)多媒體數(shù)據(jù)模型：采納面向?qū)ο蟮姆椒枋龊徒⒍嗝襟w數(shù)據(jù)模型是較好的方法。 (2)數(shù)據(jù)的壓縮和解壓縮(3)多媒體數(shù)據(jù)的存貯治理和存取方法 (4)多媒體信息的再現(xiàn)及良好的用戶界面 (5)分布式技術(shù)多媒體數(shù)據(jù)存儲(chǔ)的問(wèn)題：巨大的數(shù)據(jù)量、存儲(chǔ)技術(shù)、多媒體對(duì)象存儲(chǔ)、多媒體文檔檢索。多媒體數(shù)據(jù)庫(kù)基于內(nèi)容的檢索：目標(biāo)標(biāo)識(shí)， 特征提取，

8、 數(shù)據(jù)庫(kù)查詢接口， 檢索引擎， 索引/過(guò)濾器多媒體通信分類(lèi)： (1)對(duì)稱(chēng)的全雙工的多媒體通訊。如分布式多媒體信息系統(tǒng)、視頻會(huì)議系統(tǒng)及計(jì)算機(jī)支持的協(xié)同工作系統(tǒng)； (2)非對(duì)稱(chēng)全雙工的多媒體通訊系統(tǒng)。如交互式電視系統(tǒng)（ITV）、點(diǎn)播電視系統(tǒng)（VOD） 多媒體通信的關(guān)鍵技術(shù)： (1)多媒體數(shù)據(jù)壓縮。 (2)高速數(shù)據(jù)通訊問(wèn)題。尤其是視頻會(huì)議系統(tǒng)要解決視頻會(huì)議系統(tǒng)的國(guó)際標(biāo)準(zhǔn)問(wèn)題。視頻會(huì)議系統(tǒng)可分為兩類(lèi): (1)點(diǎn)對(duì)點(diǎn)視頻會(huì)議系統(tǒng)：如可視電話、臺(tái)式機(jī)臺(tái)式機(jī)視頻會(huì)議（桌面視頻會(huì)議系統(tǒng)）、會(huì)議室會(huì)議室視頻會(huì)議(2)多點(diǎn)視頻會(huì)議系統(tǒng)：如三個(gè)或三個(gè)以上不同地點(diǎn)的參加者一起參加討論。多點(diǎn)會(huì)議系統(tǒng)的關(guān)鍵技術(shù)是：多點(diǎn)操

9、縱器（MCU），它能自動(dòng)的交換數(shù)據(jù)。視頻會(huì)議系統(tǒng)的結(jié)構(gòu)：視頻會(huì)議終端、多點(diǎn)操縱器、信道（網(wǎng)絡(luò)）、操縱治理軟件。MCU多點(diǎn)操縱單元/多點(diǎn)操縱器MCU是視頻會(huì)議系統(tǒng)的關(guān)鍵設(shè)備，它的要緊功能是對(duì)視頻、語(yǔ)音及數(shù)據(jù)信號(hào)進(jìn)行切換。例如它會(huì)將傳送到MCU某會(huì)場(chǎng)的場(chǎng)景圖像信號(hào)切換到所有會(huì)場(chǎng)，關(guān)于語(yǔ)音信號(hào)，若同時(shí)有幾個(gè)發(fā)言，能夠?qū)λ麄冞M(jìn)行混合處理，選出最高的音頻信號(hào)切換到其它會(huì)場(chǎng)。MCU的要緊組成部分：網(wǎng)絡(luò)接口單元、呼叫操縱單元、多路復(fù)用和解復(fù)用單元、音頻處理器、視頻處理器、數(shù)據(jù)處理器、操縱處理器、密鑰處理分發(fā)器、呼叫操縱處理器。多媒體計(jì)算機(jī)的進(jìn)展趨勢(shì)（1）進(jìn)一步完善計(jì)算機(jī)支持的協(xié)同工作環(huán)境CSCW（Compu

10、ter Supported Collaborative Work）（2）智能多媒體技術(shù)（3）把多媒體信息實(shí)時(shí)處理和壓縮編碼算法作到CPU芯片中。（集成原則:壓縮算法采納國(guó)際標(biāo)準(zhǔn)設(shè)計(jì)；多媒體功能的單獨(dú)解決變成集中解決；體系結(jié)構(gòu)設(shè)計(jì)和算法相結(jié)合。）總之，多媒體計(jì)算機(jī)將朝著高分辨率、提高顯示質(zhì)量、高速化 、簡(jiǎn)單化、智能化方向進(jìn)展。第二章 多媒體信息處理技術(shù)采樣、量化、數(shù)字化、數(shù)字圖像多媒體計(jì)算機(jī)處理圖像和視頻，首先必須把連續(xù)的圖像函數(shù)f(x,y)進(jìn)行空間和幅值的離散化處理：采樣:空間連續(xù)坐標(biāo)(x,y)的離散化 量化：f(x,y)顏色的離散化 數(shù)字化:兩種離散化結(jié)合在一起，叫做數(shù)字化。離散化的結(jié)果稱(chēng)為

11、數(shù)字圖像。f(xf(x0,y0)f(x511,y0)f(x0,y511)f(x511,y511)x,yx,y的離散化稱(chēng)為采樣f(x,y)的離散化稱(chēng)為量化采樣對(duì)連續(xù)圖像彩色函數(shù)f(x,y)，沿x方向以等間隔x采樣，采樣點(diǎn)數(shù)為 N，沿 y 方向以等間隔y采樣，采樣點(diǎn)數(shù)為N，因此得到一個(gè)NN的離散樣本陣列f(m,n)NN 。為了達(dá)到由離散樣本陣列以最小失真重建原圖的目的，采樣密度必須滿足香農(nóng)采樣定理。（采樣密度：x與y）采樣定理：采樣間隔與f(x,y)頻帶之間，頻帶愈窄，相應(yīng)的采樣頻率能夠降低，采樣頻率是圖像變化頻率二倍時(shí)，就能保證由離散圖像數(shù)據(jù)無(wú)失真地重建原圖。顏色的差不多概念彩色可用亮度、色調(diào)和

12、飽和度來(lái)描述，人眼看到任一彩色光差不多上這三個(gè)特性的綜合效果。亮度：光作用于人眼時(shí)所引起的明亮程度的感受，它與被觀看物體的發(fā)光強(qiáng)度有關(guān)。（光的強(qiáng)和弱）色調(diào)：當(dāng)人眼看一種或多種波長(zhǎng)的光時(shí)所產(chǎn)生的彩色感受，它反映顏色的種類(lèi)，是決定顏色的差不多特性。紅色+白光色調(diào)發(fā)生變化黃色紅色+綠色飽和度下降粉紅色飽和度：指顏色的純度，即摻入白光的程度 (指顏色的深淺程度，關(guān)于同一色調(diào)彩色光，飽和度越深顏色越鮮亮或者講越純)。紅色+白光色調(diào)發(fā)生變化黃色紅色+綠色飽和度下降粉紅色色度：色調(diào)和飽和度通稱(chēng)為色度。亮度表示某彩色光的明亮程度，而色度則表示顏色的類(lèi)不與深淺程度。三基色原理三基色原理：自然界常見(jiàn)的各種顏色光，

13、都可由紅（R）、綠(G)、藍(lán)(B)三種顏色光按不同比例相配而成，同樣絕大多數(shù)顏色也能夠分解成紅、綠、藍(lán)三種色光。三基色的選擇不是唯一的，三種顏色必須是相互獨(dú)立的，即任何一種顏色都不能由其他兩種顏色合成。相加混色：把三種基色光按不同比例相加稱(chēng)之為相加混色。常用亮度公式：（Y表示白光的亮度）NTSC電視制式：Y = 0.3R+0.59G+0.11B ；PAL 電視制式：Y = 0.222R+0.707G+0.071B注：假如把單色光亮度定為100，則主觀感受是綠光僅次白光，是三基色中最亮的，紅光次之，亮度約占綠光的一半，藍(lán)光最弱，亮度約占紅光的1/3。注意0.3+0.59+0.11=1.0三原色的

14、系數(shù)之因此不同是因?yàn)槿说难劬?duì)不同波長(zhǎng)的顏色有著不同的敏感度。RGB彩色空間當(dāng)三基色按不同強(qiáng)度相加時(shí)，可得到任何一種顏色。在RGB彩色空間，某一種顏色和這三種顏色之間的關(guān)系可用下面的式子來(lái)描述：F(顏色)rRgGbB（r+g+b=1）其中r、g、b為三色系數(shù)。rR、 gG、 bB 為F色光的三色重量。當(dāng)三基色等量相加時(shí)，得到白色。不管多媒體系統(tǒng)采納何種色彩空間，最后監(jiān)視器輸出一定要轉(zhuǎn)換成RGB色彩空間。RGB和黑白電視信號(hào)不兼容。YUV彩色空間攝像機(jī)把攝得的彩色圖像信號(hào)，經(jīng)分色棱鏡分成R0G0B0三個(gè)重量的信號(hào)，分不經(jīng)放大和校正得到RGB，再通過(guò)矩陣變換電路得到亮度信號(hào)Y、色差信號(hào)R-Y和B-

15、Y。圖像子采樣對(duì)圖像進(jìn)行采樣時(shí)，假如對(duì)色差信號(hào)使用的采樣頻率比對(duì)亮度信號(hào)使用的采樣頻率低，這種采樣就稱(chēng)為圖像子采樣(subsampling)圖像子采樣對(duì)圖像進(jìn)行采樣時(shí)，假如對(duì)色差信號(hào)使用的采樣頻率比對(duì)亮度信號(hào)使用的采樣頻率低，這種采樣就稱(chēng)為圖像子采樣(subsampling)。U= m(B-Y) =0.493(B-Y)V= n(R-Y) =0.877(R-Y)優(yōu)點(diǎn)：1) 亮度信號(hào)Y解決了彩色電視和黑白電視的兼容問(wèn)題。2) 能夠利用人眼的特性來(lái)降低數(shù)字彩色圖像所需要的存儲(chǔ)容量。YUV彩色空間，數(shù)字化后通常的比例為：Y:U:V=8:4:4Y:U:V=8:2:2YIQ彩色空間亮度：Y 色差：I、QI

16、軸：表示人眼最敏感的色軸（123度的橙色及其相反方向的303度的青色，人眼對(duì)其具有最大的彩色分辨率）Q軸：表示人眼最不敏感的色軸優(yōu)點(diǎn)：人眼分辨紅、黃之間顏色變化的能力最強(qiáng)，而分辨藍(lán)與紫之間顏色變化的能力最弱。在傳送分辨力弱的信號(hào)時(shí)，能夠用較窄的頻帶，而傳送分辨力較強(qiáng)的信號(hào)時(shí)，能夠用較寬的頻帶。電視廣播制式世界上要緊使用的電視廣播制式有PAL、NTSC、SECAM三種，中國(guó)大部分地區(qū)使用PAL制式，日本、韓國(guó)及東南亞地區(qū)與美國(guó)等歐美國(guó)家使用NTSC制式，俄羅斯則使用SECAM制式。PAL 制式（.正交平衡調(diào)幅逐行倒相制）：采納YUV彩色空間；25幀/秒。NTSC制式（正交平衡調(diào)幅制）：采納YIQ

17、彩色空間。30幀/秒。SECAM制（行輪換調(diào)頻制）25幀/秒。HSI彩色空間H (hue)色調(diào)；S (saturation)飽和度 ；I (Intensity)光的強(qiáng)度優(yōu)點(diǎn)：亮度重量與圖像的色彩信息無(wú)關(guān)；能夠減少彩色圖像處理的復(fù)雜性，它更接近人對(duì)彩色的認(rèn)識(shí)和解釋。廣泛用于計(jì)算機(jī)視覺(jué)、圖像檢索和視頻檢索。HSI彩色空間與RGB彩色空間之間的轉(zhuǎn)換：全電視信號(hào)電視攝像機(jī)把一幅圖像信號(hào)轉(zhuǎn)變成的輸出信號(hào)確實(shí)是全電視信號(hào)。 光柵掃描二維信號(hào) 一維信號(hào) （掃描方式：隔行掃描 逐行掃描；隔行掃描：奇數(shù)場(chǎng)+偶數(shù)場(chǎng)=1幀；每一行有正程和逆程。）黑白全電視信號(hào)=圖像信號(hào)(視頻信號(hào))+復(fù)合消隱信號(hào)（行消隱、場(chǎng)消隱）+

18、復(fù)合同步信號(hào)（行同步、場(chǎng)同步）彩色全電視信號(hào)=色度信號(hào)+亮度信號(hào)+復(fù)合同步信號(hào)+復(fù)合消隱信號(hào)在現(xiàn)代彩色電視系統(tǒng)中，通常采納 YUV彩色空間或YIQ彩色空間，Y為亮度信號(hào)，它能夠與黑白全電視信號(hào)兼容，U和V用載波頻率sc調(diào)制加到亮度Y上，最后形成彩色全電視信號(hào)，如下式所示：CVBS=Y+FF=Vcossct+Usinsct (壓縮后的色度信號(hào))多媒體計(jì)算機(jī)常用的三種圖像及其獵取方式多媒體計(jì)算機(jī)最常用的圖像有下述三種：圖形、靜態(tài)圖像、動(dòng)態(tài)圖像（視頻）。獲得這三種圖像可用下述方法：(1) 計(jì)算機(jī)產(chǎn)生彩色圖形，靜態(tài)圖像和動(dòng)態(tài)圖像；(2) 用彩色掃描儀，掃描輸入彩色圖形和靜態(tài)圖像；(3) 用視頻信號(hào)數(shù)字

19、化儀，將彩色全電視信號(hào)數(shù)字化后，輸入到多媒體計(jì)算機(jī)中，可獲得靜態(tài)和動(dòng)態(tài)圖像。視頻采集卡(視頻信號(hào)獵取器)工作原理概述如下：視頻信號(hào)源、攝像機(jī)、錄像機(jī)或激光視盤(pán)的信號(hào)通過(guò)A/D 變換，送到多制式數(shù)字解碼器進(jìn)行解碼得到 Y、U、V數(shù)據(jù)，然后由視頻窗口操縱器對(duì)其進(jìn)行剪裁，改變比例后存入幀存儲(chǔ)器。幀存儲(chǔ)器的內(nèi)容在窗口操縱器的操縱下，與VGA同步信號(hào)或視頻編碼器的同步信號(hào)同步，再送到D/A變換器模擬彩色空間變換矩陣，同時(shí)送到數(shù)字式視頻編輯器進(jìn)行視頻編碼，最后輸出到VGA監(jiān)視器及電視機(jī)或錄像機(jī)。視頻信號(hào)獵取器的六部分：（1）A/D變換和數(shù)字解碼（2）窗口操縱器（3）幀存儲(chǔ)器系統(tǒng)數(shù)字解碼幀存儲(chǔ)器系統(tǒng)數(shù)字式多

20、制式視頻信號(hào)編碼部分（4）數(shù)模轉(zhuǎn)換和矩陣變換（5）視頻信號(hào)和VGA信號(hào)的疊加數(shù)字解碼幀存儲(chǔ)器系統(tǒng)數(shù)字式多制式視頻信號(hào)編碼部分模擬視頻的數(shù)字化要緊包括：色彩空間的轉(zhuǎn)換、光柵掃描的轉(zhuǎn)換、分辨率的統(tǒng)一。常用的靜態(tài)圖像格式GIF圖形變換格式，擴(kuò)展名：.gifGIF格式最多只能儲(chǔ)存256色。在壓縮過(guò)程中，圖像的像素資料可不能被丟失，丟失的是圖像的色彩。要緊優(yōu)點(diǎn)在于壓縮率高、單一文件容量小，同時(shí)能夠產(chǎn)生動(dòng)態(tài)的效果（能夠在一個(gè)文件中存放多幅彩色圖形/圖像）,支持圖像透明度。TIFF（Tagged Image File Format）標(biāo)記圖像文件格式，擴(kuò)展名：.TIF支持多種壓縮方法，專(zhuān)門(mén)的圖像操縱函數(shù)以及許

21、多其它特性。它是一種非失確實(shí)壓縮格式(最高也只能做到23倍的壓縮比)能保持原有圖像的顏色及層次，但占用空間大。假如使用LAW無(wú)損壓縮方法來(lái)壓縮文件，能夠產(chǎn)生大約2：1的壓縮比。故TIFF常被應(yīng)用于較專(zhuān)業(yè)的用途，廣泛應(yīng)用于印刷業(yè)，如書(shū)籍出版、海報(bào)等，極少應(yīng)用于互聯(lián)網(wǎng)上。TGA（Targe Image Format）目標(biāo)圖像格式什么是alpha通道？32位顏色深度確實(shí)是在24位顏色深度上增加一個(gè)8位的灰度通道，那個(gè)灰度通道是為每個(gè)象素存儲(chǔ)透明信息的通道，我們把視頻編輯中的那個(gè)8什么是alpha通道？32位顏色深度確實(shí)是在24位顏色深度上增加一個(gè)8位的灰度通道，那個(gè)灰度通道是為每個(gè)象素存儲(chǔ)透明信息的

22、通道，我們把視頻編輯中的那個(gè)8位的灰度通道叫做Alpha通道。BMP位圖，擴(kuò)展名：.bmp是windows系統(tǒng)交換圖像數(shù)據(jù)的標(biāo)準(zhǔn)圖像文件存儲(chǔ)格式。在windows環(huán)境下運(yùn)行的所有圖像軟件都支持這種格式。bmp是一種與設(shè)備無(wú)關(guān)的圖像文件格式。它采納位映射存儲(chǔ)格式，除了圖像深度可選lbit、4bit、8bit及24bit外，不采納其他任何壓縮，因此占用空間大。BMP文件存儲(chǔ)數(shù)據(jù)時(shí)，圖像的掃描方式是按從左到右、從下到上的順序。PCXPCX圖像文件格式是Zsoft公司研制開(kāi)發(fā)的，要緊與商業(yè)性PCPaint brush圖像軟件一起使用。MMPMMP圖像文件格式是Ani-Video公司以及清華大學(xué)計(jì)算機(jī)系

23、在他們?cè)O(shè)計(jì)制造的視頻信號(hào)采集板中采納的圖像文件格式。為了使視頻數(shù)據(jù)能和電視視頻信號(hào)兼容，它的圖像數(shù)據(jù)采納YUV的形式， 并以Y:U:V=8:2:2的方式存儲(chǔ)。 在編制圖像文件格式轉(zhuǎn)換程序時(shí)，要緊解決的幾個(gè)問(wèn)題（1）識(shí)不文件頭和產(chǎn)生文件頭的程序；（2）文件體的解碼和編程程序；（3）文件體的數(shù)據(jù)轉(zhuǎn)換程序。多媒體計(jì)算機(jī)中常用的動(dòng)態(tài)圖像的文件格式MPG、MPEGMPG是ISO/IEC1993年8月1日正式頒布的國(guó)際標(biāo)準(zhǔn)。MPEG-1標(biāo)準(zhǔn)包括三個(gè)部分：MPEG視頻（核心）、MPEG音頻、MPEG系統(tǒng)MPEG數(shù)據(jù)流分六個(gè)層次序列層、圖像組層、圖像層、片層、宏塊層、塊層（1）序列層：規(guī)定了MPEG解碼器的運(yùn)

24、行狀態(tài)，包含圖像的水平尺寸、垂直尺寸、長(zhǎng)寬比、幀速率和位速率等信息。（2）圖像組層：一個(gè)MPEG圖像序列分成若干個(gè)組，每組即為一個(gè)隨機(jī)存取點(diǎn)，實(shí)現(xiàn)了圖像隨機(jī)存取，一個(gè)圖像組能夠單獨(dú)解碼。圖像組第一幀為I圖像，第一個(gè)圖像組有7幀圖像,跟著的圖像組有9幀圖像, 每個(gè)圖像組必須包含一個(gè)或多個(gè)I圖像。（3）圖像層：一幅圖像對(duì)應(yīng)一幀，四種圖像形式： I幀內(nèi)圖 P預(yù)測(cè)圖 B雙向預(yù)測(cè)圖 D直流重量圖I圖:信息量最多，是預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償?shù)幕A(chǔ)；P圖是經(jīng)前面的I或P運(yùn)動(dòng)補(bǔ)償后得到的，有一定的數(shù)據(jù)壓縮 ；B圖是由前后的I，P圖補(bǔ)償后得到的，它的數(shù)據(jù)壓縮率最大。（4）片層：為容錯(cuò)考慮，將一幅圖劃分若干片，每片中都存有

25、解碼所需的信息，某一片出錯(cuò)時(shí)，能夠接著查找下一片的起始信息接著進(jìn)行解碼，而可不能因圖像的某一部分出錯(cuò)導(dǎo)致整幅圖的損壞。（5）宏塊層：層是一個(gè)16*16 的樣本塊，它是運(yùn)動(dòng)補(bǔ)償和更換量化級(jí)的單位，宏塊由該樣本塊的4個(gè)亮度塊和2個(gè)色度塊構(gòu)成，在其首部存放著量化級(jí)和運(yùn)動(dòng)補(bǔ)償?shù)男畔?。?）塊層：一個(gè)塊是8*8的矩陣，它是編碼的差不多單元。AVIAudio Video Interleave，即音頻視頻交叉存取格式 在AVI文件中，運(yùn)動(dòng)圖像和伴音數(shù)據(jù)以交錯(cuò)的方式存儲(chǔ)，并獨(dú)立于硬件設(shè)備。構(gòu)成一個(gè)AVI文件的要緊參數(shù)包括影像、伴音和壓縮參數(shù)等。影像和伴音分不存儲(chǔ)，因此能夠把一段視頻中的影像與另一段視頻中的伴音

26、組合在一起。AVI的視窗大小可按43的比例或隨意調(diào)整，視窗越大，數(shù)據(jù)量越大。AVI的幀率也能夠調(diào)整，而且與數(shù)據(jù)量成正比。不同的幀率會(huì)產(chǎn)生不同的畫(huà)面連續(xù)效果。AVSAVS是Intel和IBM公司共同研制的數(shù)字視頻交互DVI系統(tǒng)動(dòng)態(tài)圖像文件格式，AVS必須在DVI硬件系統(tǒng)的支持下才能讀寫(xiě)，如此系統(tǒng)的造價(jià)較高。數(shù)字化音頻的獵取，數(shù)字化音頻模數(shù)轉(zhuǎn)換過(guò)程采樣：聲波是連續(xù)信號(hào)， 或稱(chēng)連續(xù)時(shí)刻函數(shù) x(t)。 用計(jì)算機(jī)處理這些信號(hào)時(shí)應(yīng)先離散化，即按一定的時(shí)刻間隔 (T) 取值，得到 x(nT) ( n為整數(shù) )，T 稱(chēng)采樣周期，1/T 稱(chēng)采樣頻率 ( 每秒鐘采樣次數(shù) )，x(nT) 稱(chēng)采樣值 ( 或離散信號(hào)

27、 )奈奎斯特 ( Nyqust ) 采樣定理：只要采樣頻率大于或者等于信號(hào)中所包含的最高頻率的兩倍；即當(dāng)信號(hào)是最高頻率時(shí)，每個(gè)周期至少采樣兩個(gè)點(diǎn)，則理論上就能夠完全恢復(fù)原來(lái)的信號(hào)。量化：通過(guò)采樣得到的表示聲音強(qiáng)弱的函數(shù) x(nT) 是連續(xù)的，為把 x(nT) 存入計(jì)算機(jī)，就必須將采樣值離散化，即量化成一個(gè)有限個(gè)幅度值的集合 x(nT)。聲音質(zhì)量采樣頻率(KHZ)采樣精度(bit)單聲道/雙聲道數(shù)字化文件數(shù)據(jù)量(字節(jié)/數(shù)字化文件數(shù)據(jù)量(字節(jié)/秒) = 采樣頻率(Hz)(量化位數(shù)(bit)/8)聲道數(shù)（注意：1kHz=1000HZ）電話音質(zhì)8810.46AM音質(zhì)11.025810.63FM音質(zhì)22

28、.051625.05CD音質(zhì)44.116210.09DAT音質(zhì)4816210.99編碼：音頻模擬信號(hào)通過(guò)采樣與量化之后，為把數(shù)字化音頻存入計(jì)算機(jī)，需對(duì)其編碼，即用二進(jìn)制數(shù)表示每個(gè)采樣的量化值，完成整個(gè)模數(shù)轉(zhuǎn)換過(guò)程。采樣頻率、采樣精度和聲道數(shù)對(duì)聲音的音質(zhì)和占用的存儲(chǔ)空間起著決定性作用，如表所示：常用的聲音文件格式WAV文件microsoft公司的波形音頻文件，擴(kuò)展名：.vaf一種最直接的表達(dá)聲音波形的數(shù)字音頻文件，要緊用于自然聲音的保存與重放。存儲(chǔ)容量大。電子幻燈片 PowerPoint 軟件、各種算法語(yǔ)言及多媒體平臺(tái)軟件可直接使用，適合多媒體系統(tǒng)、音樂(lè)光盤(pán)制作等。VOC文件Creative公司

29、的波形音頻文件，擴(kuò)展名：.voc聲霸卡使用的音頻文件格式。由文件頭塊和音頻數(shù)據(jù)塊組成。文件頭包含一個(gè)標(biāo)識(shí)、版本號(hào)和一個(gè)指向數(shù)據(jù)塊起始的指針；數(shù)據(jù)塊分成各種類(lèi)型的子塊。利用聲霸卡提供的軟件可實(shí)現(xiàn) VOC 和 WAV 轉(zhuǎn)換。MIDI文件樂(lè)器數(shù)字接口音頻文件，擴(kuò)展名：.mid一種計(jì)算機(jī)數(shù)字音樂(lè)接口生成的數(shù)字描述音頻文件，文件中包含音符、定時(shí)和多達(dá) 16 個(gè)通道的樂(lè)器定義。文件不記載聲音本身波形數(shù)據(jù)，用數(shù)字形式記錄聲音特征，描述演奏過(guò)程中的指令，數(shù)據(jù)量小。適合應(yīng)用在對(duì)資源占用要求苛刻的場(chǎng)合，比如多媒體光盤(pán)、游戲制作、背景音樂(lè)等。要緊用于計(jì)算機(jī)聲音的重放和處理。擴(kuò)展名為 RMI 的文件是 Microso

30、ft 公司的MIDI 文件格式，可包括圖片、標(biāo)記和文本 MP3文件壓縮音頻文件，擴(kuò)展名：.mp3采納 MPEG 標(biāo)準(zhǔn)音頻數(shù)據(jù)壓縮編碼中層 技術(shù)壓縮之后的數(shù)字音頻文件。壓縮比高、數(shù)據(jù)量小、音質(zhì)好，壓縮比例有 10 : 1、17 : 1，甚至70 : 1；數(shù)據(jù)率能夠是 64kbps，也能夠是 320kbps。WMA文件流式音頻文件，擴(kuò)展名：.wmaMicrosoft研制的一種壓縮離散文件或流式文件，相關(guān)于MP3具有較高壓縮率和良好音質(zhì)。當(dāng)小于 128kbps 時(shí)最為出色且編碼后音頻文件專(zhuān)門(mén)??；當(dāng)大于 128kbps 時(shí)音質(zhì)損失過(guò)大。PCM文件數(shù)字音頻文件模擬的音頻信號(hào)通過(guò)模數(shù)轉(zhuǎn)換（A/D轉(zhuǎn)換）直接

31、形成的二進(jìn)制數(shù)字序列，該文件沒(méi)有附加的文件頭和文件結(jié)束標(biāo)志。音源信息完整，但冗余度過(guò)大；音源信息保存完整，音質(zhì)好；信息量大，體積大，冗余度過(guò)大。因?yàn)槟軌蜻_(dá)到最高保真水平的確實(shí)是，因此被廣泛用于素材保存及音樂(lè)觀賞。比如 Audio CD (72min/650MB)。音頻信號(hào)可分為兩類(lèi)：語(yǔ)音信號(hào)和非語(yǔ)音信號(hào)。樂(lè)音三要素音調(diào)：取決于聲波的基頻?；l越低聲音越低沉，反之聲音尖銳。音強(qiáng)：響度，取決于聲音波形的幅度（振幅大?。?。音色：有混入基音（基波）的泛音（諧波）所決定。音頻信號(hào)處理的特點(diǎn)1）音頻信號(hào)是時(shí)刻領(lǐng)帶的連續(xù)媒體。因此音頻處理的時(shí)序性要求專(zhuān)門(mén)高。2）應(yīng)有兩個(gè)聲道，即理想的合成聲音應(yīng)是立體聲。3）

32、對(duì)語(yǔ)音信號(hào)的處理不僅是信號(hào)處理問(wèn)題，還要抽取語(yǔ)意等其他信息，因此可能會(huì)涉及語(yǔ)言學(xué)、社會(huì)學(xué)、聲學(xué)等。從人與計(jì)算機(jī)交互的角度來(lái)看音頻信號(hào)相應(yīng)的處理1）人與計(jì)算機(jī)通信（計(jì)算機(jī)接收音頻信號(hào)）：音頻獵取2）計(jì)算機(jī)與人通信（計(jì)算機(jī)輸出音頻）：音頻合成（包括語(yǔ)音合成盒音樂(lè)合成）與聲音定位（包括立體聲模擬；音視頻同步）3）人通過(guò)計(jì)算機(jī)與不人通信（通過(guò)網(wǎng)絡(luò)與處于異地的人通信）：語(yǔ)音采集、音頻編/解碼、音頻傳輸?shù)?。語(yǔ)音信號(hào)的冗余度和數(shù)據(jù)壓縮技術(shù)的三個(gè)重要指標(biāo)語(yǔ)音信號(hào)存在著多種冗余度，其最要緊部分能夠分不從時(shí)域和頻域來(lái)考慮。人們?cè)趯?shí)施數(shù)據(jù)壓縮時(shí)，要在音頻質(zhì)量、數(shù)據(jù)量、計(jì)算復(fù)雜度三方面進(jìn)行綜合考慮，即數(shù)據(jù)壓縮技術(shù)的三

33、個(gè)重要指標(biāo)。 音頻編碼的分類(lèi)1）基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行編碼。其典型技術(shù)是波形編碼，目標(biāo)是使重建語(yǔ)音波形保持原形狀。特點(diǎn)：適應(yīng)性強(qiáng)，音頻質(zhì)量好，但壓縮比不大，數(shù)據(jù)率較高。例：PCM（脈沖編碼調(diào)制，無(wú)壓縮）、DPCM（預(yù)測(cè)脈沖編碼調(diào)制）、APCM（自適應(yīng)脈沖編碼調(diào)制）、ADPCM（自適應(yīng)預(yù)測(cè)編碼）用途：公用網(wǎng)、ISDN、配音。質(zhì)量為4.04.5。2）基于音頻的聲學(xué)參數(shù)，進(jìn)行模型參數(shù)編碼（音源編譯碼）。目標(biāo)是是重建音頻保持原有音頻的特性。建立聲音信號(hào)的產(chǎn)生模型，將聲音信號(hào)用模型參數(shù)表示。常用的音頻參數(shù)有共振峰、線性預(yù)測(cè)系數(shù)、濾波器組等。特點(diǎn)：數(shù)據(jù)率低，但還原信號(hào)的質(zhì)量差、自然度低。例：LPC（線

34、性預(yù)測(cè)編碼）用途：保密話聲，質(zhì)量為2.53.5。數(shù)據(jù)率為2.4Kb/s3）混合編譯碼結(jié)合上兩種算法，企圖查找一種激勵(lì)信號(hào)，這種信號(hào)激勵(lì)產(chǎn)生的波形盡可能接近原話音波形。例：MPLPC（多脈沖線性預(yù)測(cè)編碼）CELPC（碼激勵(lì)線性預(yù)測(cè)編碼）用途：移動(dòng)通信。數(shù)據(jù)率4.8Kb/s。VSELP（矢量和激勵(lì)LPC）用途：語(yǔ)音郵件。數(shù)據(jù)率8Kb/sRPE-LTP（規(guī)則脈沖激勵(lì)編碼）用途：ISDN。數(shù)據(jù)率13.2Kb/s4）基于人的聽(tīng)覺(jué)特性進(jìn)行的感知編碼從人的聽(tīng)覺(jué)系統(tǒng)動(dòng)身，利用掩蔽效應(yīng)，涉及心理聲學(xué)模型，實(shí)現(xiàn)更高效率的數(shù)字音頻壓縮。例：MPEG、AC-3用途：音響，質(zhì)量5.0算法名稱(chēng)數(shù)據(jù)率標(biāo)準(zhǔn)應(yīng)用質(zhì)量波形編碼P

35、CM均勻量化64kb/sG.711公共網(wǎng)ISDN話音4.04.5(A)(A)APCM自適應(yīng)量化DPCM差值量化ADPCM自適應(yīng)差值量化32kb/sG.72 1SB-ADPCM子帶自適應(yīng)差值量化64kb/sG.7225.3 kb/s 6.3kb/sG.723參數(shù)編碼LPC線性預(yù)測(cè)編碼2.4kb/s保密話聲2.53.5混合編碼CELPC激勵(lì)碼LPC4.6 kb/s移動(dòng)通信4.03.7VSELP矢量和激勵(lì)LPC8語(yǔ)kb/s語(yǔ)音郵件RPE-LTP規(guī)則脈沖激勵(lì)編碼13.2Kb/sISDNLD-CELP低延時(shí)碼激勵(lì)LPC16KbpsG.728G.729MPEG多子帶 感知編碼128KbpsCD5.0AC-

36、3感知編碼音響5.0音源編譯碼音樂(lè)合成技術(shù)產(chǎn)生MIDI樂(lè)音的方法專(zhuān)門(mén)多，現(xiàn)在用得較多的方法有兩種：一種是頻率調(diào)制(frequency modulation，F(xiàn)M)合成法，另一種是樂(lè)音樣本合成法，也稱(chēng)為波形表(Wavetable)合成法。這兩種方法目前要緊用來(lái)生成音樂(lè)。頻率調(diào)制(FM)合成法：把幾種樂(lè)音的波形用數(shù)字來(lái)表達(dá)，同時(shí)用數(shù)字計(jì)算機(jī)而不是用模擬電子器件把它們組合起來(lái)，通過(guò)數(shù)模轉(zhuǎn)換器(digital to analog convertor，DAC)來(lái)生成樂(lè)音。然而使用FM合成法來(lái)產(chǎn)生各種逼確實(shí)樂(lè)音是相當(dāng)困難的，有些樂(lè)音幾乎不能產(chǎn)生。波形表合成法：把真實(shí)樂(lè)器發(fā)出的聲音以數(shù)字的形式記錄下來(lái)，存在

37、ROM里，播放時(shí)改變播放速度，從而改變音調(diào)周期，生成各種音階的音符。樂(lè)音樣本的采集相對(duì)比較直觀。較好的聲卡均使用波表合成法。PCM波表合成器。MIDI數(shù)字樂(lè)器接口MIDI 是數(shù)字音樂(lè)接口（Musical Instrument Digital Interface)的縮寫(xiě)。MIDI是用來(lái)將電子樂(lè)器相互連接，或?qū)IDI設(shè)備與電腦連接成系統(tǒng)的一種通訊協(xié)議。通過(guò)它，各種MIDI設(shè)備都能夠準(zhǔn)確傳送MIDI信息。MIDI協(xié)議提供了一種標(biāo)準(zhǔn)的和有效的方法，用來(lái)把演奏信息轉(zhuǎn)換成電子數(shù)據(jù)。 MIDI信息是以“MIDI messages”傳輸?shù)?，它能夠被認(rèn)為是告訴音樂(lè)合成器(music synthesizer)如

38、何演奏一小段音樂(lè)的一種指令，而合成器把接收到的MIDI數(shù)據(jù)轉(zhuǎn)換成聲音。同WAV文件相比，MIDI文件有以下特點(diǎn)：1.用樂(lè)譜指令代替聲音數(shù)據(jù)2.有效記錄和重現(xiàn)各種樂(lè)器聲音 3.占用存儲(chǔ)空間微小 4.適合樂(lè)曲創(chuàng)作和遠(yuǎn)距離傳輸聲卡的組成與工作原理處理音頻信號(hào)的PC插卡是聲卡（Audio Card），又稱(chēng)音頻卡，聲卡處理的音頻媒體有數(shù)字化聲音（Wave）、合成音樂(lè)（MIDI）、CD音頻。采樣頻率中，22.05kHZ是當(dāng)前音頻卡所支持的。聲卡的功能包括：（1）音頻錄放（錄制：把聲音轉(zhuǎn)換為文件；播放：把文件還原為聲音）（2）編輯與合成（對(duì)聲音文件進(jìn)行各種專(zhuān)門(mén)處理，如倒播、加回音、靜噪音、往返放音、交換聲道

39、等）（3）MIDI接口和音樂(lè)合成（依靠于合成芯片）（4）文語(yǔ)轉(zhuǎn)換與語(yǔ)音識(shí)不（5）CD-ROM接口與游戲棒接口聲卡要緊組成部分：數(shù)字聲音處理器、混合信號(hào)處理器、功率放大器、音樂(lè)合成器及MIDI操縱器、計(jì)算機(jī)總線接口和操縱器。聲卡的進(jìn)展趨勢(shì)（1）改善聲音質(zhì)量（2）統(tǒng)一音頻卡標(biāo)準(zhǔn)（3）簡(jiǎn)化安裝的即插即用音頻卡（4）三維圍繞立體聲（5）全雙工聲音處理（6）與通信技術(shù)的結(jié)合（7）單一芯片多媒體數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)：壓縮比（=輸入數(shù)據(jù)和輸出數(shù)據(jù)比）；壓縮和解壓的速度；恢復(fù)效果要盡可能恢復(fù)原始數(shù)據(jù)。多媒體數(shù)據(jù)壓縮的可能性(1) 空間冗余：例: 圖象中的“A”是一個(gè)規(guī)則物體。光的亮度、飽和度及顏色都一樣，因

40、此，數(shù)據(jù)A有專(zhuān)門(mén)大的冗余。(2) 時(shí)刻冗余(3) 信息熵冗余信息量： 指從N個(gè)相等的可能事件中選出一個(gè)事件所需要的信息度量和含量。信息熵：指一團(tuán)數(shù)據(jù)所帶的信息量，平均信息量確實(shí)是信息熵（entropy）。(4) 結(jié)構(gòu)冗余：圖象有特不強(qiáng)的紋理結(jié)構(gòu)。如草席圖結(jié)構(gòu)上存在冗余。(5) 知識(shí)冗余：圖像的理解與某些基礎(chǔ)知識(shí)有關(guān)。例:人臉的圖像有同樣的結(jié)構(gòu)：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在中線上 (6) 視覺(jué)冗余：視覺(jué)冗余是非均勻、非線性的。(7) 其他冗余：空白的非定長(zhǎng)性預(yù)測(cè)編碼預(yù)測(cè)編碼要緊是減少數(shù)據(jù)在空間和時(shí)刻上的相關(guān)性。它依照某一模型利用以往的樣本值對(duì)新樣本值進(jìn)行預(yù)測(cè)，然后將樣本的實(shí)際值與其預(yù)測(cè)

41、值相減得到一個(gè)誤差值，進(jìn)而對(duì)這一誤差值進(jìn)行編碼。預(yù)測(cè)編碼方法中典型的有DPCM和ADPCM方法。差分脈沖調(diào)制（DPCM）預(yù)測(cè) ：是降低每個(gè)像素所需平均比特?cái)?shù)最有用的方法。關(guān)于絕大多數(shù)圖像來(lái)講，在局部空間和時(shí)刻上是高度相關(guān)的，因而能夠在已得到像素的基礎(chǔ)上通過(guò)對(duì)當(dāng)前像素的預(yù)測(cè)來(lái)減少圖像的數(shù)據(jù)量。預(yù)測(cè)器設(shè)計(jì)是預(yù)測(cè)編碼系統(tǒng)的核心，預(yù)測(cè)器的復(fù)雜程度與線性預(yù)測(cè)中使用往常的樣本數(shù)有關(guān)，樣本數(shù)越多，預(yù)測(cè)器越復(fù)雜。在預(yù)測(cè)編碼系統(tǒng)中，圖像質(zhì)量下降的要緊緣故是預(yù)測(cè)誤差的量化，由圖像傳輸過(guò)程中的誤碼在接收端預(yù)測(cè)器中引起的誤碼傳播。不帶量化器的DPCM線性預(yù)測(cè)編碼，屬于無(wú)失真編碼系統(tǒng)；帶有量化器的DPCM線性預(yù)測(cè)編碼，

42、屬于有失真編碼系統(tǒng)。自適應(yīng)差分脈沖調(diào)制（ADPCM）預(yù)測(cè)：自適應(yīng)技術(shù)的概念是預(yù)測(cè)器的預(yù)測(cè)系數(shù)和量化器的量化參數(shù)，能夠依照?qǐng)D像的局部區(qū)域分布特點(diǎn)自動(dòng)調(diào)整。即定期地重新計(jì)算協(xié)方差矩陣和相應(yīng)的加權(quán)因子，充分利用其統(tǒng)計(jì)特性重新調(diào)整預(yù)測(cè)參數(shù)，使預(yù)測(cè)器隨著輸入數(shù)據(jù)的變化而變化，從而得到較為理想的輸出。自適應(yīng)預(yù)測(cè)又可分為線性自適應(yīng)預(yù)測(cè)和非線性自適應(yīng)預(yù)測(cè)兩種。實(shí)踐證明，ADPCM編、解碼系統(tǒng)與DPCM編、解碼系統(tǒng)相比，不僅能改善恢復(fù)圖像的評(píng)測(cè)質(zhì)量和視覺(jué)效果，同時(shí)還能進(jìn)一步壓縮數(shù)據(jù)。ADPCM系統(tǒng)包括自適應(yīng)預(yù)測(cè)，即預(yù)測(cè)系數(shù)的自適應(yīng)調(diào)整和自適應(yīng)量化，即量化器參數(shù)的自適應(yīng)調(diào)整兩部分內(nèi)容。變換編碼 變換編碼不是直接對(duì)

43、時(shí)域圖像信號(hào)編碼，而是首先在數(shù)據(jù)壓縮前對(duì)原始輸入數(shù)據(jù)作某種正交變換，把圖像信號(hào)映射變換到另外一個(gè)正交相量空間，產(chǎn)生一批變換系數(shù)，然后再對(duì)這些變換系數(shù)進(jìn)行編碼處理。利用圖像塊像素值之間的相關(guān)性，把圖像變換到一組新的基上，使得能量集中到少數(shù)幾個(gè)變換系數(shù)上，通過(guò)存儲(chǔ)這些系數(shù)達(dá)到壓縮的目的。本方法采納對(duì)整幅的原始圖像分成許多個(gè)矩形區(qū)域子圖像獨(dú)立進(jìn)行變換。常用變換有：卡亨南洛維變換（KLT）、離散余弦變換（DCT）、沃爾什哈達(dá)瑪變換（WHT）、離散傅里葉變換（DFT）。其中，K-L變換是以圖像的統(tǒng)計(jì)特性為基礎(chǔ)的一種正交變換，它是消除數(shù)據(jù)相關(guān)性最有效的正交變換，但由于計(jì)算復(fù)雜度高，實(shí)際應(yīng)用中專(zhuān)門(mén)少使用。統(tǒng)

44、計(jì)編碼1、統(tǒng)計(jì)編碼原理 信息量和信息熵(1)信息:是用不確定性的量度定義的。(2)信息量:從N個(gè)相等可能事件中選出一個(gè)事件所需要的信息度量或含量。Shannon信息論把一個(gè)事件（字符s1）所攜帶的信息量定義為：I(s1) = log2 (1/p) = -log2 p (bit)其中p為事件發(fā)生（字符出現(xiàn)）的概率；I(s1)即隨機(jī)事件或變量X取值為s1時(shí)所攜帶的信息量。(3)熵:假如將信源所有可能事件信息量進(jìn)行平均就得到信息的熵(熵確實(shí)是平均信息量)。即：H(x) =p1I1+p2I2+piIi=p1log2(1/p1)+.+ pilog2(1/pi)例：例：有一幅40個(gè)像素組成的灰度圖像，灰度

45、共有5級(jí)，分不用符號(hào)A，B，C，D，E表示，40個(gè)像素出現(xiàn)不同灰度的結(jié)果如下表所示。假如用3個(gè)位表示5個(gè)等級(jí)的灰度值，編碼這幅圖像總共需要120位。按照shannon的理論，這幅圖像的熵為：H（s）=15/40*log2(40/15)+7/40*log2(40/7)+(5/40)*log2(40/5)=2.196這確實(shí)是講每個(gè)符號(hào)用2.196位表示，共需2.196*40=87.84位。壓縮比約為3 / 2.196 1.37 : 1。2、哈夫曼編碼Huffman 編碼確實(shí)是利用變字長(zhǎng)最佳編碼實(shí)現(xiàn)信源符號(hào)按概率大小順序排列。讓最頻繁出現(xiàn)的符號(hào)具有最短的編碼。Huffman編碼的過(guò)程 = 生成一棵二

46、叉樹(shù)（H樹(shù)）Huffman具體編碼步驟(1)將符號(hào)按概率從大到小順序排列(2)出現(xiàn)概率最小的兩個(gè)符號(hào)概率相加合成一個(gè)概率。(3)將合成概率看成一個(gè)新組合符號(hào)概率，重復(fù)上述做法，直到最后只剩下兩個(gè)符號(hào)概率為止。(4)反過(guò)來(lái)逐步向前編碼，每一步有兩個(gè)分支各給予一個(gè)二進(jìn)制碼，能夠?qū)Ω怕蚀蟮馁x編碼為“0”，概率小的賦編碼為“1”。（反之，也能夠大的賦“1”，小的賦“0”）特點(diǎn)：它屬于不對(duì)稱(chēng)、無(wú)損、變碼長(zhǎng)的熵編碼。碼長(zhǎng)盡管差不多上可變的，卻不需要另外附加同步代碼(即在譯碼時(shí)分割符號(hào)的專(zhuān)門(mén)代碼)。 Huffman編碼在信源編碼概率分布不均勻時(shí)效率高，因此效率比較均勻時(shí)，不用Huffman編碼。例：例：60

47、個(gè)字符中，各字符出現(xiàn)的次數(shù)為A：20；B：10；C：5；D：15；E：10試對(duì)各字符進(jìn)行編碼。A：20D：15B：10 E：10 C：5編碼結(jié)果如下表，壓縮比=180/135 1.33 : 1符號(hào)編碼出現(xiàn)次數(shù)所需位數(shù)A002040B111020C011515D101530E0101030合計(jì)60135C+E：15B+D：25A+C+E：35101010110A+B+C+D+E：60Huffman編碼的Huffman編碼的兩個(gè)問(wèn)題：（1）沒(méi)有錯(cuò)誤愛(ài)護(hù)功能在譯碼時(shí)，假如碼串中有哪怕僅僅是1位出現(xiàn)錯(cuò)誤，則不但那個(gè)碼本身譯錯(cuò)，而且后面的碼都會(huì)跟著錯(cuò)。稱(chēng)這種現(xiàn)象為錯(cuò)誤傳播，計(jì)算機(jī)對(duì)這種錯(cuò)誤也無(wú)能為力，不

48、能明白錯(cuò)誤出在哪里，更談不上去糾正它（2）不能隨機(jī)定位因?yàn)槭强勺冮L(zhǎng)度碼，因此專(zhuān)門(mén)難在壓縮文件中直接對(duì)指定音頻或圖像位置的內(nèi)容進(jìn)行譯碼，這就需要在存儲(chǔ)代碼之前加以考慮3、算術(shù)編碼算術(shù)編碼方法是將被編碼的一則消息或符號(hào)串（序列）表示成0和1之間的一個(gè)間隔（Interval），即對(duì)一串符號(hào)直接編碼成0,1區(qū)間上的一個(gè)浮點(diǎn)小數(shù)。符號(hào)序列越長(zhǎng)，編碼表示它的間隔越小，表示這一間隔所需的位數(shù)就越多。信源中的符號(hào)序列仍然要依照某種模式生成概率的大小來(lái)減少間隔。 例： 例： 給消息“state_tree”編碼。初始化時(shí)，6個(gè)字符被分配的范圍（range）如下表。編碼過(guò)程如下：字符概率范圍(space)0.10r

49、0.1a0.10.1r0.2e0.30.2r0.5r0.10.5r0.6s0.10.6r0.7t0.30.7r1.0 初始化 s t a t e _ t r e e _(space)00.60.670.6730.67510.675280.675280.67529890.675302950.675303112a0.10.610.6730.67330.675190.6753070.20.620.6760.67360.675280.6753340.6753031120.6753031606er0.50.650.6850.67450.675550.675302950.6753033550.675303

50、2335s0.60.660.6880.67480.675303760.70.670.6910.67510.6752989t10.70.70.6760.6760.675550.6753070.6753070.675303760.675303112 算術(shù)編碼解碼過(guò)程：（1）設(shè)編碼初始化子區(qū)間為0，1)，Qe從0算起，則Pe=1-Qe。隨著被編碼數(shù)據(jù)流符號(hào)的輸入，子區(qū)間逐漸縮小。 （2）新子區(qū)間的起始位置=前子區(qū)間的起始位置+當(dāng)前符號(hào)的區(qū)間左端前子區(qū)間長(zhǎng)度；（3）新子區(qū)間的長(zhǎng)度=前子區(qū)間的長(zhǎng)度當(dāng)前符號(hào)的概率（等價(jià)于范圍長(zhǎng)度）；（4）最后得到的子區(qū)間的長(zhǎng)度決定了表示該區(qū)域內(nèi)的某一個(gè)數(shù)所需的位數(shù)。在算術(shù)

51、編碼中需要注意的幾個(gè)問(wèn)題：(1)由于實(shí)際計(jì)算機(jī)精度不可能無(wú)限長(zhǎng)，運(yùn)算中溢出是明顯的問(wèn)題，但多數(shù)機(jī)器都有16位、32位或者64位的精度，因此可使用比例縮放法解決。(2)算術(shù)編碼器對(duì)消息只產(chǎn)生一個(gè)碼字，那個(gè)碼字是在0, 1中的一個(gè)實(shí)數(shù)，因此譯碼器在同意到表示那個(gè)實(shí)數(shù)的所有位之前不能進(jìn)行譯碼。(3)算術(shù)編碼也是一種對(duì)錯(cuò)誤專(zhuān)門(mén)敏感的編碼方法，假如有一位發(fā)生錯(cuò)誤就會(huì)導(dǎo)致整個(gè)消息譯錯(cuò)。 算術(shù)編碼能夠是靜態(tài)的或者自適應(yīng)的。在靜態(tài)算術(shù)編碼中，信源符號(hào)的概率是固定的。在自適應(yīng)算術(shù)編碼中，信源符號(hào)的概率依照編碼時(shí)符號(hào)出現(xiàn)的頻繁程度動(dòng)態(tài)地進(jìn)行修改，在編碼期間估算信源符號(hào)概率的過(guò)程叫做建模。需要開(kāi)開(kāi)發(fā)態(tài)算術(shù)編碼的緣故

52、是因?yàn)槭孪让靼拙_的信源概率是專(zhuān)門(mén)難的，而且是不切實(shí)際的。當(dāng)壓縮消息時(shí)，我們不能期待一個(gè)算術(shù)編碼器獲得最大的效率，所能做的最有效的方法是在編碼過(guò)程中估算概率。因此動(dòng)態(tài)建模就成為確定編碼器壓縮效率的關(guān)鍵。 4、RLE/RLC 行程編碼或游程長(zhǎng)度編碼RLE視數(shù)字信息為無(wú)語(yǔ)義的字符序列(字節(jié)流)，對(duì)相鄰重復(fù)的字符，用一個(gè)數(shù)字表示連續(xù)相同字符的數(shù)目(稱(chēng)為行程長(zhǎng)度)，可達(dá)到壓縮信息的目的。如未壓縮的數(shù)據(jù)：ABCCCCCCCCDEFFGGG；RLE編碼：AB8CDEFF3GRLE所能獲得的壓縮比有多大，這要緊是取決于圖像本身的特點(diǎn)。假如圖像中具有相同顏色的圖像塊越大，圖像塊數(shù)目越少，獲得的壓縮比就越高。譯

53、碼時(shí)按照與編碼時(shí)采納的相同規(guī)則進(jìn)行，還原后得到的數(shù)據(jù)與壓縮前的數(shù)據(jù)完全相同，是無(wú)損壓縮技術(shù)。RLE壓縮編碼尤其適用于計(jì)算機(jī)生成的圖像，對(duì)減少圖像文件的存儲(chǔ)空間特不有效。RLE對(duì)顏色豐富的自然圖像就顯得力不從心。但在自然圖像的壓縮中（如JPEG）還真少不了RLE，只只是是不能單純使用RLE一種編碼方法，需要和其他的壓縮編碼技術(shù)聯(lián)合應(yīng)用。靜態(tài)圖像壓縮編碼的國(guó)家標(biāo)準(zhǔn)JPEG（Joint Photographic Experts Group聯(lián)合圖象專(zhuān)家組標(biāo)準(zhǔn)）JPEG給出了一個(gè)使用于連續(xù)色調(diào)圖像的壓縮方法。JPEG要緊采納了以DCT為基礎(chǔ)的有損壓縮算法。而JPEG 2000則采納的是性能更優(yōu)秀的小波變

54、換。JPEG使用量化和無(wú)損壓縮編碼相結(jié)合來(lái)去掉視角的冗余信息和數(shù)據(jù)本身的冗余信息。JPEG屬于結(jié)合變換編碼(DCT)與熵編碼(RLE/Huffman)的混合編碼。JPEG算法與彩色空間無(wú)關(guān)，因此它能夠壓縮來(lái)自不同彩色空間的數(shù)據(jù)，如RGB, YCbCr和CMYK。JPEG要求圖像應(yīng)達(dá)到目的的差不多要求：達(dá)到或接近當(dāng)前壓縮比與圖像保真度的技術(shù)水平，能覆蓋一個(gè)較寬的圖像質(zhì)量等級(jí)范圍，能達(dá)到“專(zhuān)門(mén)好”到“極好”的評(píng)估，與原始圖像相比，人的視覺(jué)難以分辨；JPEG在使用DCT進(jìn)行有損壓縮時(shí)，壓縮比可調(diào)整在壓縮1030倍后，圖像效果仍然不錯(cuò)。能適用于任何種類(lèi)的連續(xù)色調(diào)的圖像，且長(zhǎng)寬比都不受限制，同時(shí)也不受限

55、于景物內(nèi)容、圖像的復(fù)雜程度和統(tǒng)計(jì)特性等。計(jì)算的復(fù)雜性是可操縱的，其軟件可在各種CPU上完成，算法也可用硬件實(shí)現(xiàn)。JPEG算法具有四種操作方式或編碼模式：順序編碼（基準(zhǔn)模式）：基于DCT，每一個(gè)圖像重量按從左到右，從上到下掃描，一次掃描完成編碼；累進(jìn)編碼（遞進(jìn)模式）基于DCT，累進(jìn)編碼傳輸時(shí)刻長(zhǎng)，接收端收到的圖像是圖像是多次掃描由粗糙到清晰的累進(jìn)過(guò)程；無(wú)失真編碼（無(wú)損模式）基于DPCM，保證解碼后，完全精確地恢復(fù)源圖像采樣值，其壓縮比低于有失真壓縮編碼方法；分層編碼（層次模式）：圖像在多個(gè)空間分辨率(2n倍)進(jìn)行編碼。在信道傳送速率慢，接收端顯示器分辨率也不高的情況下，只需做低分辨率圖像解碼?；?/p>

56、于DCT編碼的關(guān)鍵步驟為：第一步：分割子塊（8*8分塊）；第二步：對(duì)子塊進(jìn)行正向離散余弦變換FDCT (forward DCT)，把空間域表示的圖變換成頻率域表示的圖；正變換（FDCT）公式：逆變換（IDCT）公式： 1/2 ,當(dāng)u，v = 0其中，C(u),C(v) = 并稱(chēng) 為直流系數(shù)DC，其它的F(u,v)為交流 0 ，其余 系數(shù)AC。計(jì)算兩維的DCT變換時(shí)，能夠使用下面的計(jì)算式把兩維的DCT變換變成行向的一維DCT計(jì)算和列向的一維DCT計(jì)算的組合變換：例： 給消息“stat例： 給消息“state_tree”編碼。初始化時(shí)，6個(gè)字符被分配的范圍（range）如下表。編碼過(guò)程如下：字符概

57、率范圍(space)0.10r0.1a0.10.1r0.2e0.30.2r0.5r0.10.5r0.6s0.10.6r0.7t0.30.7r1.0 初始化 s t a t e _ t r e e _(space)00.60.670.6730.67510.675280.675280.67529890.675302950.675303112a0.10.610.6730.67330.675190.6753070.20.620.6760.67360.675280.6753340.6753031120.6753031606er0.50.650.6850.67450.675550.675302950.67

58、53033550.6753032335s0.60.660.6880.67480.675303760.70.670.6910.67510.6752989t10.70.70.6760.6760.675550.6753070.6753070.675303760.675303112水平方向8*1DCT變換第三步：使用加權(quán)函數(shù)對(duì)DCT系數(shù)進(jìn)行量化，量化是圖像質(zhì)量下降的最要緊緣故。關(guān)于有損壓縮算法，JPEG算法使用線性(均勻)量化器進(jìn)行量化，量化步距是按照系數(shù)所在的位置和每種顏色重量的色調(diào)值來(lái)確定。使用了兩種量化表：亮度量化表和色差量化表，如下圖。量化結(jié)果的計(jì)算 能夠用下式計(jì)算量化值： 其中，Sq(u,v

59、)為量化后的結(jié)果、F(u,v) 為 DCT系數(shù)、Q(u,v)為量化表中的數(shù)值。亮度量化表 色度量化表第四步：編碼，使用差分脈沖編碼調(diào)制DPCM對(duì)直流系數(shù)DC(direct current)進(jìn)行編碼，使用行程長(zhǎng)度編碼RLE對(duì)交流系數(shù)AC (alternating current)進(jìn)行編碼量化后系數(shù)要重新編排，目的是為了增加連續(xù)的“0”系數(shù)的個(gè)數(shù)，確實(shí)是“0”的游程長(zhǎng)度，方法是按照Z(yǔ)字形的式樣編排： DC(0,0)j-1 DC(0,0)j量化DC直流系數(shù)有個(gè)特點(diǎn)，一是系數(shù)的數(shù)值比較大，二是相鄰88圖像塊的DC系數(shù)值變化不大DC(0,0)j-1 DC(0,0)jDelta=DC(0,0)j-DC(0

60、,0)j-1量化AC系數(shù)的特點(diǎn)是163矢量中包含有許多“0”系數(shù)，同時(shí)許多“0”是連續(xù)的，因此使用游程長(zhǎng)度編碼(RLE)對(duì)它們進(jìn)行編碼。每個(gè)AC系數(shù)行程編碼的碼字用兩個(gè)字節(jié)表示，第1個(gè)字節(jié)的高4位來(lái)表示連續(xù)“0”的個(gè)數(shù)，低4位來(lái)表示編碼下一個(gè)非“0”系數(shù)所需要的位數(shù)，第二個(gè)字節(jié)是非0量化AC系數(shù)的數(shù)值。第五步：熵編碼(Huffman/算術(shù))。使用熵編碼能夠?qū)PCM編碼后的直流DC系數(shù)和RLE編碼后的交流AC系數(shù)作進(jìn)一步的壓縮。 JPEG建議的兩種熵編碼方法是：Huffman編碼和自適應(yīng)二進(jìn)制算術(shù)編碼。熵編碼可分成兩步進(jìn)行，先把DC碼和行程碼轉(zhuǎn)換為中間符號(hào)序列，然后給這些符號(hào)賦以變長(zhǎng)碼字。在J