129058236000625000多媒體技術(shù)基礎(chǔ)

1、第八章 多媒體技術(shù)根底 8.1 多媒體技術(shù)的根本概念8.2 多媒體計(jì)算機(jī)系統(tǒng)8.3 多媒體信息的數(shù)字化和緊縮技術(shù)18.1多媒體技術(shù)的根本概念 8.1.2多媒體 媒體:存儲(chǔ)信息的物理實(shí)體，如磁盤、光盤等,信息的表現(xiàn)方式或載體,如文字、圖形、圖像、動(dòng)畫、聲音等。國(guó)際電信聯(lián)盟ITU將媒體分為：覺(jué)得媒體、表示媒體、顯示媒體、存儲(chǔ)媒體、傳輸媒體和信息交換媒體六大類。多媒體:交融兩種或兩種以上媒體的一種信息集合，分：靜態(tài)媒體和動(dòng)態(tài)媒體；運(yùn)用的媒體信息類型包括:文字、圖形、圖像、聲音、動(dòng)畫和電視圖像。多媒體技術(shù) :指以數(shù)字化技術(shù)為根底，計(jì)算機(jī)綜合處置多種媒體信息，使多種媒體信息之間建立邏輯關(guān)系，并連同多媒體

2、設(shè)備一同集成為一個(gè)具有交互性能的運(yùn)用系統(tǒng)的技術(shù)。是一門跨學(xué)科的綜合技術(shù)。綜合處置指：錄入、緊縮與解緊縮、編輯、存儲(chǔ)、檢索、顯示、傳輸?shù)取? 8.1.3多媒體技術(shù)的特性集成性 媒體、設(shè)備與軟件的集成。交互性 用戶與多媒體信息。 實(shí)時(shí)性 聲音媒體和視頻媒體。多樣性 媒體、處置方式。數(shù)字化 媒體信息以數(shù)字的方式存儲(chǔ)和處置。數(shù)據(jù)量大 一頁(yè)A4紙文字的數(shù)據(jù)量約為20kB，一幅640*480經(jīng)緊縮的照片數(shù)據(jù)量約為180kB，1分鐘MPEG1緊縮視頻大約需求10MB的存儲(chǔ)空間。要求傳輸速度高 對(duì)于MPEG1的緊縮視頻文件，要求的數(shù)據(jù)傳輸率為1.5Mbit/s。MPG2-DVD(7M)，網(wǎng)絡(luò)流普通32k-10

3、24k。協(xié)同性 各種媒體之間必需有機(jī)地配合才干協(xié)調(diào)一致。多種媒體之間符合人的自然交流方式 。3多媒體數(shù)據(jù)的特點(diǎn)數(shù)據(jù)量宏大數(shù)據(jù)類型多數(shù)據(jù)類型間區(qū)別大 多媒體數(shù)據(jù)的輸入和輸出復(fù)雜。多媒體文件的存儲(chǔ)格式文件格式：是一種信息的數(shù)字化存儲(chǔ)方式。多媒體文件：包含文件頭和數(shù)據(jù)兩大部分。文件頭多媒體數(shù)據(jù)4多媒體文件 靜態(tài)多媒體文件無(wú)法提供網(wǎng)絡(luò)在線播放功能。它需求先下載，后觀看。流式媒體文件簡(jiǎn)稱流媒體在因特網(wǎng)中采用流式傳輸技術(shù)的延續(xù)時(shí)基媒體，如音頻、視頻等文件。流媒體文件的數(shù)據(jù)可以隨時(shí)傳送、隨時(shí)播放。實(shí)現(xiàn)流媒體的關(guān)鍵技術(shù)是數(shù)據(jù)的流式傳輸。58.1.4 多媒體信息處置的關(guān)鍵技術(shù) 1. 多媒體數(shù)據(jù)緊縮技術(shù)節(jié)省存儲(chǔ)空

4、間，提高通訊介質(zhì)的傳輸效率，使計(jì)算機(jī)實(shí)時(shí)處置和播放視頻、音頻信息成為能夠。2. 多媒體數(shù)據(jù)存儲(chǔ)技術(shù)數(shù)字化數(shù)據(jù)存儲(chǔ)的介質(zhì)有：硬盤、光盤和磁帶等。3. 集成電路制造技術(shù)為多媒體技術(shù)的進(jìn)一步開展發(fā)明了有力的條件。4.多媒體數(shù)據(jù)庫(kù)技術(shù) 研討多媒體信息的特征、建立多媒體數(shù)據(jù)模型； 有效地組織和管理多媒體信息； 多媒體信息的檢索和統(tǒng)計(jì)。6多媒體信息處置的關(guān)鍵技術(shù) 5. 虛擬現(xiàn)實(shí)技術(shù)利用計(jì)算機(jī)生成一種模擬環(huán)境，經(jīng)過(guò)多種傳感設(shè)備，使人可以沉浸在計(jì)算機(jī)生成的虛擬境界中，并可以經(jīng)過(guò)言語(yǔ)、手勢(shì)等自然的方式與之進(jìn)展實(shí)時(shí)交互，創(chuàng)建了一種適人化的多維信息空間。6. 多媒體網(wǎng)絡(luò)與通訊技術(shù)多媒體通訊技術(shù)支持是保證多媒體通訊實(shí)

5、施的條件。78.1.5 多媒體技術(shù)的運(yùn)用領(lǐng)域 1.多媒體教育2.電子出版物 3.多媒體網(wǎng)絡(luò)運(yùn)用 互聯(lián)網(wǎng)直播 視頻點(diǎn)播 遠(yuǎn)程教育 視頻會(huì)議系統(tǒng) 88.2 多媒體計(jì)算機(jī)系統(tǒng)多媒體系統(tǒng)是指能綜合處置多種媒體信息，使信息之間能建立聯(lián)絡(luò)，并具有交互性的計(jì)算機(jī)系統(tǒng)。一個(gè)完好的多媒體計(jì)算機(jī)系統(tǒng)包括硬件系統(tǒng)和軟件系統(tǒng)兩大部分。多媒體PC機(jī)聯(lián)盟先后發(fā)布了4個(gè)MPC規(guī)范。計(jì)算機(jī)技術(shù)的高速開展，從如今的計(jì)算機(jī)軟、硬件性能來(lái)看，已完全超越MPC規(guī)范的規(guī)定，MPC規(guī)范已成為一種歷史，但MPC規(guī)范的制定對(duì)多媒體技術(shù)的開展和普及起到了重要的推進(jìn)作用。9MPC規(guī)范MPC聯(lián)盟規(guī)定多媒體計(jì)算機(jī)系統(tǒng)由5個(gè)根本部件組成：PC機(jī)、CD

6、-ROM、聲卡、音箱和Windows操作系統(tǒng)MPC 4.0為將PC機(jī)晉級(jí)成MPC提供了一個(gè)指點(diǎn)原那么，要求在普通微機(jī)的根底上添加以下4類軟、硬件設(shè)備 ：多媒體計(jì)算機(jī)Multimedia Computer:是具有多媒體處置才干的計(jì)算機(jī)系統(tǒng) 聲/像輸入設(shè)備：主要用于將多媒體信息輸入計(jì)算機(jī)：光驅(qū)、聲卡、視頻采集卡、麥克風(fēng)、電子琴、掃描儀、錄音機(jī)、VCD/DVD、數(shù)字照相機(jī)、攝像機(jī)等。功能卡:用于對(duì)多媒體信息進(jìn)展處置：電視卡、Modem卡、視頻編輯卡、VCD緊縮卡、網(wǎng)卡等。 聲像輸出設(shè)備: 用于輸出多媒體系統(tǒng)：光盤刻錄機(jī)、聲卡、視頻轉(zhuǎn)換卡、音箱、立體聲耳機(jī)、錄音機(jī)、錄像機(jī)、打印機(jī)等。軟件支持:音響、視

7、頻和通訊信息以及實(shí)時(shí)、多義務(wù)處置軟件。 108.2.1多媒體計(jì)算機(jī)硬件系統(tǒng) 多媒體系統(tǒng)層次構(gòu)造 多媒體運(yùn)用系統(tǒng)運(yùn)轉(zhuǎn)平臺(tái)多媒體編輯與創(chuàng)作系統(tǒng)多媒體素材制造工具及運(yùn)用程序接口API多媒體操作系統(tǒng)、多媒體設(shè)備驅(qū)動(dòng)程序多媒體計(jì)算機(jī)主機(jī)、外圍設(shè)備硬件系統(tǒng)軟件系統(tǒng)11多媒體計(jì)算機(jī)硬件系統(tǒng)表示圖12計(jì)算機(jī)廠商提供多媒體硬件設(shè)備的方式有：一是集成在主板上，二是提供各種接口卡。在一臺(tái)詳細(xì)的多媒體計(jì)算機(jī)硬件配置中，不一定都包括上述全部配置，但至少該當(dāng)包括聲卡和CD-ROM驅(qū)動(dòng)器。多媒體計(jì)算機(jī)的硬件技術(shù)要求： 主機(jī)處置性能強(qiáng)大。 主機(jī)接口齊全。 各種多媒體設(shè)備齊全。13DVI/HDMI148.2.2 多媒體計(jì)算機(jī)軟

8、件系統(tǒng) 多媒體計(jì)算機(jī)軟件系統(tǒng) 多媒體運(yùn)用系統(tǒng)多媒體計(jì)算機(jī)主機(jī)、外圍設(shè)備多媒體編輯與創(chuàng)作工具多媒體庫(kù)函數(shù)、素材制造工具多媒體操作系統(tǒng)設(shè)備驅(qū)動(dòng)軟件、接口程序系統(tǒng)軟件15多媒體創(chuàng)作工具 多媒體創(chuàng)作工具的功能 提供編程環(huán)境及對(duì)各種媒體數(shù)據(jù)流的控制才干 處置各種媒體數(shù)據(jù) 生成運(yùn)用系統(tǒng)和提供應(yīng)用程序鏈接才干 用戶界面處置和提供人機(jī)交互功能 預(yù)演與播放才干16多媒體創(chuàng)作工具 多媒體創(chuàng)作工具的類型 基于時(shí)間序列的創(chuàng)作工具 Director 基于流程圖的創(chuàng)作工具 Authorware 基于描畫言語(yǔ)符號(hào)的創(chuàng)作工具 Multimedia ToolBook 可視化編程環(huán)境 Visual Basic和Visual C+

9、178.2.3 多媒體運(yùn)用系統(tǒng)的設(shè)計(jì)流程需求分析腳本設(shè)計(jì)多媒體素材制造多媒體集成和調(diào)試多媒體作品包裝需求分析腳本設(shè)計(jì)多媒體素材制造多媒體集成和調(diào)試作品包裝188.3 多媒體信息的數(shù)字化和緊縮技術(shù) 8.3.1 數(shù)字音頻信息及處置 1.根本概念復(fù)雜的聲波由許許多具有不同振幅和頻率的正弦波組成。周期T:反復(fù)出現(xiàn)的時(shí)間間隔;振幅A:波形相對(duì)基線的最大位移, 表示音量的大小;頻率f:信號(hào)每秒鐘變化的次數(shù),即1/T 以赫茲(Hz)為單位。19聲音按頻率分類 正常人所能聽到的聲音頻率范圍為20 Hz20 kHz。 聲音質(zhì)量的頻率范圍: CD 如隨身聽 FM:調(diào)頻 AM:調(diào)幅 把調(diào)制信號(hào)從低頻搬移到了高頻，以

10、便利用電離層傳播, 調(diào)頻聲音的高低變?yōu)轭l率的變化的電信號(hào),調(diào)幅就是用聲音的高低變?yōu)榉鹊淖兓碾娦盘?hào). 202.模擬音頻的數(shù)字化用計(jì)算機(jī)對(duì)音頻信息處置，就要將模擬信號(hào)如語(yǔ)音、音樂(lè)等轉(zhuǎn)換成維數(shù)字信號(hào)。采樣 每隔一定時(shí)間間隔對(duì)模擬波形上取一個(gè)幅度值。量化 將每個(gè)采樣點(diǎn)得到的幅度值 以數(shù)字存儲(chǔ)。編碼 將采樣和量化后的數(shù)字?jǐn)?shù)據(jù) 以一定的格式記錄下來(lái)模擬信號(hào)采樣量化編碼數(shù)字信號(hào) 振幅 頻率1/T 采樣點(diǎn) T 振幅1/TT213.數(shù)字音頻的技術(shù)目的 采樣頻率、量化位數(shù)和聲道數(shù)采樣頻率： 每秒鐘的采樣次數(shù)量化位數(shù)(采樣精度) ：存放采樣點(diǎn)振幅值的二進(jìn)制位數(shù)。通常量化位數(shù)有8位、16位，分別表示有28、216

11、個(gè)等級(jí)。聲道數(shù) ：聲音通道的個(gè)數(shù) ，立體聲 為雙聲道。每秒鐘存儲(chǔ)聲音容量的公式為：采樣頻率采樣精度聲道數(shù)/8=字節(jié)數(shù)例如，用44.10 kHz的采樣頻率，16位的精度存儲(chǔ)，那么錄制1秒鐘的立體聲節(jié)目，其WAV文件所需的存儲(chǔ)量為：44 100162/8=176 400字節(jié)22采樣頻率和量化參數(shù)比較234.數(shù)字音頻的文件格式 Wave格式文件. Wav 記錄了真實(shí)聲音的二進(jìn)制采樣數(shù)據(jù)，通常文件較大。 MIDI格式文件.MID 數(shù)字音樂(lè)的國(guó)際規(guī)范. 記錄的是音符數(shù)字，文件小。 MPEG音頻文件.MP1/.MP2/.MP3 采用MPEG音頻緊縮規(guī)范進(jìn)展緊縮的文件。 RA格式文件.ra RAReal A

12、udio是Real Network公司制定的音頻緊縮規(guī) 范，有較高的緊縮比，采用流媒體的方式在網(wǎng)上實(shí)時(shí)播放。 WMA文件.wma) 是微軟公司新一代OS平臺(tái)音頻規(guī)范，緊縮比高，音質(zhì)強(qiáng)于MP3等。245.聲音的錄制與播放 “錄音機(jī)是用于聲音文件的錄制與播放，還可以對(duì)聲音進(jìn)展編輯和特殊效果處置。錄制聲音 編輯聲音刪除聲音 當(dāng)前位置之前或之后插入聲音挪動(dòng)聲音 刪除和插入間接完成258.3.2數(shù)字圖像及處置 1.根本概念 圖形和圖像 圖形：由點(diǎn)、線等組成的有邊境畫面，文件中存放描畫圖形的指令。 圖像：由圖像設(shè)備輸入的無(wú)邊境畫面，數(shù)字化后以位圖方式存儲(chǔ)。 圖形與圖像的數(shù)字化 分辨率行、列和顏色深度 真彩

13、色每個(gè)像素點(diǎn)占3個(gè)字節(jié)，224=16777216 種顏色。 計(jì)算存儲(chǔ)一秒圖像公式： 列數(shù)行數(shù)像素的顏色深度/8 幀/秒=字節(jié)數(shù) 例：12801024分辨率的“真彩色電視圖像， 按每秒30幀計(jì)算，顯示1分鐘，那么需求： 1280102433060 6.6 GB262.圖像的數(shù)字化采樣 用多少個(gè)像素點(diǎn)的“列數(shù)行數(shù)表示，分辨率越高，圖像越明晰，存儲(chǔ)量也越大。量化 量化是在圖像離散化后，將表示圖像顏色濃淡的延續(xù)變化值離化為整數(shù)值的過(guò)程。 把量化時(shí)所確定的整數(shù)值取值個(gè)數(shù)稱為量化級(jí)數(shù),也稱為顏色深度. 圖像 采樣 量化 數(shù)字圖像27顏色深度黑白圖 圖像的顏色深度為1，那么用一個(gè)二進(jìn)制位1和0表示純白、純黑

14、兩種情況； 灰度圖 圖像的顏色深度為8，占一個(gè)字節(jié)，灰度級(jí)別為256級(jí)。經(jīng)過(guò)調(diào)整黑白兩色的程度稱顏色灰度來(lái)有效地顯示單色圖像；RGB 24位真彩色 彩色圖像顯示時(shí)，由紅、綠、藍(lán)三基色經(jīng)過(guò)不同的強(qiáng)度混合而成，當(dāng)強(qiáng)度分成256級(jí)值為0255，占24位，就構(gòu)成了224=16777216種顏色的“真彩色圖像?；叶葓D彩色圖28 圖像的分辨率和像素位的顏色深度決議了圖像文件的大小，計(jì)算公式為： 列數(shù)行數(shù)顏色深度8=圖像字節(jié)數(shù)例8.2 當(dāng)要表示一個(gè)分辨率為640480的“24位真彩色圖像，那么需求： 6404802481MB 由此可見，數(shù)字化后的圖像數(shù)據(jù)量非常宏大，必需采用編碼技術(shù)來(lái)緊縮信息。它是圖像傳輸與

15、存儲(chǔ)的關(guān)鍵。編碼 對(duì)數(shù)字化后的圖像信息存儲(chǔ)格式的處置過(guò)程293.常用圖像文件格式BMP和DIB格式文件 與設(shè)備無(wú)關(guān)的位圖格式文件，Windows環(huán)境中經(jīng)常運(yùn)用.GIF格式文件 Internet上的重要文件格式之一，最大不超越64 KB， 256色以內(nèi)，緊縮比較高，與設(shè)備無(wú)關(guān)。JPEG格式文件.JPG 利用JPEG方法緊縮, Internet上重要文件格式之一， 適用于處置256色以上、大幅面圖像。WMF格式文件 位圖與矢量圖的混合體, Windows中許多剪貼畫圖像 是以該格式存儲(chǔ)的。廣泛運(yùn)用于桌面出版印刷領(lǐng)域。 PNG 格式文件 流式圖像文件，無(wú)損緊縮，緊縮比高，適用網(wǎng)絡(luò)中傳播。 304.

16、圖像數(shù)據(jù)的獲取利用圖像處置軟件和現(xiàn)成的圖像庫(kù) 最常用的是Photoshop,可以繪圖,也可以編輯來(lái)自網(wǎng)絡(luò)、CD-ROM光盤上存儲(chǔ)的圖像庫(kù) “畫圖程序可以獲取屏幕界面利用數(shù)字化設(shè)備獲取 數(shù)碼相機(jī)、數(shù)字?jǐn)z象機(jī)，將拍攝的自然界景物按數(shù)字格式存儲(chǔ)經(jīng)過(guò)銜接轉(zhuǎn)換轉(zhuǎn)換成計(jì)算機(jī)中的圖像和影象文件。 掃描儀將照片、藝術(shù)作品轉(zhuǎn)換成數(shù)字圖像文件。318.3.3 數(shù)字視頻及處置 視頻是將一幅幅獨(dú)立圖像組成的序列按照一定的速率延續(xù)播放，利用視覺(jué)暫留景象在人的眼前呈現(xiàn)出延續(xù)運(yùn)動(dòng)的畫面。模擬視頻常用兩種規(guī)范：NTSC制式(30幀/秒，525行/幀)PAL制式25幀/秒，625行/幀，我國(guó)采用PAL制式。 例1分鐘的數(shù)字視頻

17、容量640480 3 30 60=1 658 880 000字節(jié)分辨率幀/秒采樣深度 時(shí)間32常用視頻文件格式AVIAudio-Video Interleaved文件將視頻與音頻信息交錯(cuò)地保管在一個(gè)文件中，較好地處理了音頻與視頻的同步問(wèn)題，已成為Windows視頻規(guī)范格式文件。MOV文件利用它可以合成視頻、音頻、動(dòng)畫、靜止圖像等多種素材。MPG(.mpg)文件是按照MPEG規(guī)范緊縮的全屏視頻的規(guī)范文件。DAT文件是VCD公用的格式文件，文件構(gòu)造與MPG文件格式根本一樣。 33流媒體概述 流媒體一種可以使音頻、視頻等多媒體文件能在Internet上以實(shí)時(shí)的、無(wú)需下載等待的流式傳輸方式進(jìn)展播放的技

18、術(shù)運(yùn)用 互聯(lián)網(wǎng)直播 視頻點(diǎn)播 遠(yuǎn)程教育 視頻會(huì)議系統(tǒng)34常用流媒體文件RealMedia (RealNetworks)RA RealAudio用來(lái)傳輸接近CD音質(zhì)的音頻數(shù)據(jù)RMRealVideo在低速率的網(wǎng)絡(luò)上實(shí)時(shí)傳輸活動(dòng)視頻影像RFRealFlash一種高緊縮比的動(dòng)畫格式QuickTime(Apple)是數(shù)字媒體領(lǐng)域現(xiàn)實(shí)上的工業(yè)規(guī)范，是創(chuàng)建3D動(dòng)畫、實(shí)時(shí)效果、虛擬現(xiàn)實(shí)、A/V和其他數(shù)字流媒體的重要根底。ASF與WMA(Microsoft)ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息經(jīng)過(guò)這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的方式傳輸，實(shí)現(xiàn)流式多媒體內(nèi)容發(fā)布。視頻媒體的播放 對(duì)應(yīng)不同的媒

19、體信息格式文件，采用不同的播放器。358.3.4 數(shù)據(jù)緊縮技術(shù) 數(shù)字化了的視頻和音頻信號(hào)的數(shù)量之大是非常驚人的。帶來(lái)的問(wèn)題 占用存儲(chǔ)容量 降低通訊干線的信道傳輸率 影響計(jì)算機(jī)的處置速度和播放效果問(wèn)題的處理：數(shù)據(jù)緊縮數(shù)據(jù)緊縮：普通可以分為有損緊縮和無(wú)損緊縮兩種。36數(shù)據(jù)緊縮技術(shù)的性能目的 緊縮比:指輸入數(shù)據(jù)和輸出數(shù)據(jù)比。 圖像質(zhì)量：對(duì)于有損緊縮，失真情況很難量化，只能對(duì)測(cè)試的圖像進(jìn)展估計(jì)。而無(wú)損緊縮不存在這一問(wèn)題。 緊縮解壓速度：在靜態(tài)圖像中，對(duì)緊縮速度的要求沒(méi)有對(duì)解壓速度的要求嚴(yán)厲；在動(dòng)態(tài)圖像中，緊縮、解壓速度都有要求，由于需實(shí)時(shí)地從攝像機(jī)或其他設(shè)備中抓取動(dòng)態(tài)視頻。 硬軟件系統(tǒng)：有些緊縮解壓任務(wù)可用軟件實(shí)現(xiàn)，在設(shè)計(jì)系統(tǒng)時(shí)必需充分思索如下兩個(gè)要素：比較復(fù)雜的算法，緊縮或解壓過(guò)程比較