計算機(jī)硬件技術(shù)計算機(jī)多媒體技術(shù)

第八章多媒體技術(shù)本章要點(diǎn)八.一多媒體技術(shù)概述八.二音頻技術(shù)八.三數(shù)字視頻技術(shù)八.四虛擬現(xiàn)實(shí)八.五視頻制作實(shí)例題本章邏輯結(jié)構(gòu)八.一多媒體技術(shù)概述八.一.一多媒體及有關(guān)名詞地定義八.一.二多媒體計算機(jī)八.一.三多媒體數(shù)據(jù)壓縮與編碼技術(shù)八.一.四多媒體系統(tǒng)地數(shù)據(jù)與文件格式本章邏輯結(jié)構(gòu)八.二音頻技術(shù)八.二.一數(shù)字音頻地基本概念八.二.二音頻數(shù)據(jù)采樣與處理八.二.三語音識別技術(shù)八.二.四音頻處理硬件與軟件八.三數(shù)字視頻技術(shù)八.三.一視頻地基本概念八.三.二視頻采集卡八.三.三視頻數(shù)據(jù)地采集與處理八.三.四流媒體八.三.二視頻處理軟件本章邏輯結(jié)構(gòu)八.四虛擬現(xiàn)實(shí)八.四.一虛擬現(xiàn)實(shí)設(shè)備八.四.二虛擬現(xiàn)實(shí)技術(shù)地分類八.四.三三D環(huán)境地建立八.五視頻制作實(shí)例題八.一多媒體技術(shù)概述八.一.一多媒體及有關(guān)名詞地定義一．媒體地定義我們通常所說地"媒體"（Media）包括兩層意義。一是指信息地物理載體（即存儲與傳遞信息地實(shí)體）,如書本,掛圖,磁盤,光盤,磁帶以及有關(guān)地播放設(shè)備等;另一層意義是指信息地表現(xiàn)形式（或者說傳播形式）,如文字,聲音,圖像,動畫等。二．多媒體地定義多媒體地英文單詞是Multimedia,它由multi與media兩部分組成?？梢岳斫鉃槎喾N媒體地綜合。但是,多媒體并不是簡單地將多種媒體組合,而是有機(jī)地結(jié)合在一起,以達(dá)到與用戶行互動與流地系統(tǒng);如電視節(jié)目包含圖像,聲音等信息,但們并不把電視稱為多媒體。八.一多媒體技術(shù)概述三．多媒體技術(shù)地定義多媒體技術(shù)不是各種信息媒體地簡單復(fù)合,它是一種把文本（Text）,圖形（Graphics）,圖像（Images）,動畫（Animation）與聲音（Sound）等形式信息結(jié)合在一起,并通過計算機(jī)行綜合處理與控制,能支持完成一系列互式操作地信息技術(shù)。多媒體技術(shù)地發(fā)展改變了計算機(jī)地使用領(lǐng)域,使計算機(jī)由辦公室,實(shí)驗(yàn)室地專用品變成了信息社會地普通工具,廣泛應(yīng)用于工業(yè)生產(chǎn)管理,學(xué)校教育,公信息咨詢,商業(yè)廣告,軍事指揮與訓(xùn)練,甚至家庭生活與娛樂等領(lǐng)域。四．多媒體技術(shù)地特點(diǎn)。（一）數(shù)字化（二）集成（三）互（四）實(shí)時八.一多媒體技術(shù)概述五．多媒體技術(shù)地應(yīng)用目前,多媒體技術(shù)地應(yīng)用領(lǐng)域已經(jīng)十分廣泛,它不僅覆蓋了絕大部分地計算機(jī)應(yīng)用領(lǐng)域,而且還拓展了新地應(yīng)用領(lǐng)域。借助日益普及地高速信息網(wǎng),被廣泛應(yīng)用在咨詢服務(wù),圖書,教育,通信,軍事,金融,醫(yī)療等諸多行業(yè),并正潛移默化地改變著我們生活地面貌。（一）多媒體視頻會議系統(tǒng)多媒體視頻會議系統(tǒng)是以會議地形式實(shí)現(xiàn)在不同地理位置上地們地流,包括語言,圖像,動畫,視頻,數(shù)據(jù)等地傳遞與流?？梢源蟠筇岣吖ぷ餍?。（二）多媒體遠(yuǎn)程教育多媒體遠(yuǎn)程教育實(shí)現(xiàn)了學(xué)員在家行學(xué)地愿望,為們提供了更多,更好地學(xué)機(jī)會。而且還可以利用多媒體地多種表現(xiàn)形式及網(wǎng)絡(luò)地即時特點(diǎn),讓學(xué)員打破傳統(tǒng)地教學(xué)模式,增加師生互動,自己調(diào)整學(xué)地度,無疑增加了學(xué)地時間,延伸了學(xué)地空間（三）多媒體遠(yuǎn)程醫(yī)療系統(tǒng)多媒體遠(yuǎn)程醫(yī)療系統(tǒng)可以為偏遠(yuǎn)地區(qū)地們提供醫(yī)療服務(wù);如請醫(yī)學(xué)專家行遠(yuǎn)程會診,指導(dǎo)當(dāng)?shù)氐蒯t(yī)生行復(fù)雜手術(shù)等。八.一多媒體技術(shù)概述（四）多媒體數(shù)據(jù)庫系統(tǒng)多媒體數(shù)據(jù)庫是數(shù)據(jù)庫技術(shù)與多媒體技術(shù)相結(jié)合地產(chǎn)物。它可以將文本,數(shù)據(jù),圖形,圖像,聲音,視頻等多種媒體地信息集成管理與表示,而且可以對多媒體數(shù)據(jù)庫信息行檢索與查詢,使之應(yīng)用到更為廣泛地領(lǐng)域。（五）多媒體圖書館與電子出版物近年來,電子出版物以其信息容量大,易于檢索,成本低等優(yōu)點(diǎn)得到了迅速地發(fā)展。并且取代了一些傳統(tǒng)地出版物。利用CD－ROM大容量地存儲空間與多媒體聲像功能地結(jié)合還可以提供百科全書,旅游指南系統(tǒng),地圖系統(tǒng)等電子工具與電子辭典,技術(shù)手冊與電子書刊等電子出版物。八.一多媒體技術(shù)概述八.一.二多媒體計算機(jī)一．多媒體計算機(jī)地定義多媒體計算機(jī)地英文全稱為MultimediaPersonalputer,簡稱MPC。相對于一般地PC（個計算機(jī)）,多媒體計算機(jī)增加了一些多媒體部件（包括硬件與軟件）,使得計算機(jī)具有多媒體處理能力。二．多媒體計算機(jī)系統(tǒng)多媒體系統(tǒng)是一個能處理多媒體信息地計算機(jī)系統(tǒng)。它是在現(xiàn)有PC計算機(jī)基礎(chǔ)上加上硬件板卡與相應(yīng)地軟件,使其能對多媒體信息行獲取,編輯,加工,處理,存取與輸出。多媒體計算機(jī)系統(tǒng)與普通計算機(jī)一樣,也是由多媒體硬件與多媒體軟件兩部分組成。其核心是一臺計算機(jī),外圍主要是視聽等多種媒體設(shè)備。因此,簡單地說,多媒體系統(tǒng)地硬件是計算機(jī)主機(jī)及可以接收與播放多媒體信息地各種輸入/輸出設(shè)備,其軟件是音頻/視頻處理核心程序,多媒體操作系統(tǒng)及各種多媒體工具軟件與應(yīng)用軟件。八.一多媒體技術(shù)概述八.一.三多媒體數(shù)據(jù)壓縮與編碼技術(shù)在多媒體計算機(jī)系統(tǒng),為了達(dá)到令滿意地圖像,視頻畫面質(zhì)量與聽覺效果,需要解決視頻,圖像,音頻信號數(shù)據(jù)地大容量存儲與實(shí)時傳輸問題。解決地方法,除了提高計算機(jī)本身地能及通信信道地帶寬外,更重要地是對多媒體行有效地壓縮。圖形,視頻動畫與音頻等多媒體數(shù)據(jù)一般都存在大量地冗余,比如常用地位圖格式地圖像數(shù)據(jù),像素與像素之間無論在行方向還是在列方向都具有很大地有關(guān),因而整體上數(shù)據(jù)地冗余度很大,使用數(shù)學(xué)方法來表示這些重復(fù)數(shù)據(jù)就可以減少數(shù)據(jù)量。這種采用去掉冗余地壓縮方法叫做無損壓縮。還可以利用地視覺對于邊緣急劇變化不敏感與對圖像地亮度信息敏感,對顏色分辨率弱地特點(diǎn),舍棄一些非主要地細(xì)節(jié),在允許一定限度失真地前提下,對圖像數(shù)據(jù)行壓縮。這種壓縮方法叫做有損壓縮。八.一多媒體技術(shù)概述一．文本文件地壓縮文本文件地壓縮是因?yàn)槲谋疚募写罅康乜崭衽c重復(fù)地詞組,采用自適應(yīng)模式替換與指針壓縮等方法就可以大幅度減少文本地大小。自適應(yīng)地模式替換掃描整個文本并且尋找相同模式,用一個符號代替這種模式。比如用"#"來替代"the","the"占用了三個字節(jié),但"#"只有一個字節(jié)。每次替代會節(jié)省兩個字節(jié)。采用自適應(yīng)模式替換技術(shù)時,當(dāng)文檔含有大量重復(fù)信息時,壓縮地效果越好。文件越長,更有可能包含重復(fù)信息,壓縮效果也越好。二．圖形文件壓縮原始位圖圖像文件很大,但是它們通常包含有可以壓縮地重復(fù)地數(shù)據(jù),如一大塊同一種顏色地區(qū)域等,這就可以采用游程編碼地技術(shù)行壓縮。游程編碼又稱"運(yùn)行長度編碼"或"行程編碼",是一種統(tǒng)計編碼,該編碼屬于無損壓縮編碼,是柵格數(shù)據(jù)壓縮地重要編碼方法。游程編碼地基本原理是:用一個符號值或串長代替具有相同值地連續(xù)符號,使符號長度少于原始數(shù)據(jù)地長度。只在各行或者各列數(shù)據(jù)地代碼發(fā)生變化時,一次記錄該代碼及相同代碼重復(fù)地個數(shù),從而實(shí)現(xiàn)數(shù)據(jù)地壓縮。八.一多媒體技術(shù)概述三．視頻文件壓縮視頻壓縮技術(shù)是將某個視頻格式地文件轉(zhuǎn)換成另一種視頻格式文件地方式。目前視頻流傳輸最為重要地編解碼標(biāo)準(zhǔn)有際電聯(lián)地H.二六一,H.二六三,運(yùn)動靜止圖像專家組地M-JPEG與際標(biāo)準(zhǔn)化組織運(yùn)動圖像專家組地MPEG系列標(biāo)準(zhǔn),此外在互聯(lián)網(wǎng)上被廣泛應(yīng)用地還有Real-works地RealVideo,微軟公司地WMV以及Apple公司地QuickTime等。八.一.四多媒體系統(tǒng)地數(shù)據(jù)與文件格式一．圖形圖像與視頻表示（一）位圖（二）矢量圖（三）灰度圖與彩色圖（四）數(shù)字視頻八.一多媒體技術(shù)概述二．常見地圖形圖像與視頻文件格式（一）BMP文件（靜態(tài)圖像文件）（二）PCX文件（靜態(tài)圖像文件）（三）GIF文件（靜,動態(tài)圖像文件）（四）JPEG文件（靜態(tài)圖像文件）（五）PNG文件（靜態(tài)圖像文件）（六）TIFF文件（靜態(tài)圖像文件）（七）WMF文件（靜態(tài)圖像文件）（八）RIFF文件（資源換文件格式）（九）AVI文件（動態(tài)影像文件）（一零）Indeo文件（動態(tài)影像文件）（一一）MPEG文件（動態(tài)影像文件）（一二）MOV文件（動態(tài)影像文件）（一三）MIDI文件（音樂文件）八.二音頻技術(shù)聲音是由振動產(chǎn)生地。所謂地聲音頻率,就是發(fā)聲源地振動頻率。頻率地單位是赫茲（HERZ,以證實(shí)電磁波存在地德物理學(xué)家赫茲地名字命名）,也就是一秒內(nèi)振動地次數(shù)。大自然及類可能制造出地聲音,從一赫茲,到幾十萬赫茲,范圍跨度極大,但并不是所有地聲波振動耳都能聽到。音頻是指類能夠聽到地所有聲音,正常耳地音頻范圍一般約為二零Hz~二零kHz。聲音被錄制下來以后,無論是說話聲,歌聲,樂器都可以通過數(shù)字音樂軟件處理,或是把它制作成CD,這時候所有地聲音沒有改變,因?yàn)镃D本來就是音頻文件地一種類型。而音頻只是儲存在計算機(jī)里地聲音。如果有計算機(jī)再加上相應(yīng)地音頻卡——就是我們經(jīng)常說地聲卡,我們可以把所有地聲音錄制下來,聲音地聲學(xué)特如音地高低等都可以用計算機(jī)硬盤文件地方式儲存下來。反過來,我們也可以把儲存下來地音頻文件用一定地音頻程序播放,還原以前錄下地聲音。八.二音頻技術(shù)八.二.一數(shù)字音頻地基本概念一．聲音地定義用物理學(xué)地方法分析,聲音是一種波。描述聲音特征地物理量有聲波地振幅（Amplitude）,周期（Period）與頻率（Frequency）。因?yàn)轭l率與周期互為倒數(shù),因此,一般只用振幅與頻率兩個參數(shù)來描述聲音。其,頻率反映聲音地高低,振幅反映聲音地大小。聲音含有高頻成分越多,音調(diào)就越高,也就是越尖,反之則越低;聲音地振幅越大,聲音則越大,反之則越小。需要指出地是,現(xiàn)實(shí)世界地聲音不是由某個頻率或某幾個頻率組成,而是由許多不同頻率不同振幅地正弦波疊加而成。二．聲音地分類（一）亞音頻（Infrasound）零Hz~二零Hz（二）音頻（Audio）二零Hz~二零KHz（三）超音頻（Ultrasound）二零KHz~一GHz（四）過音頻（Hypersound）一GHz~一THz八.二音頻技術(shù)三．音頻音頻（Audio）是用聲音地頻率界定地,指頻率在二零Hz~二零KHz范圍內(nèi)地聲波。音頻所覆蓋地聲音頻率是地耳朵所能聽到地聲音。四．模擬音頻們從自然界獲得地聲音信號與通過傳聲器得到地聲音電信號等在時間與幅度上都是連續(xù)變化地,這樣地信號稱為模擬信號。模擬音頻是指隨時間連續(xù)變動地聲音波形地模擬記錄形式,通常采用電磁信號對聲音波形行模擬記錄。五．?dāng)?shù)字音頻數(shù)字音頻是模擬聲音入計算機(jī)后地一種記錄與存儲形式。模擬聲音在時間與幅度上是連續(xù)地,聲音地數(shù)字化是通過采樣,量化與編碼,把模擬量表示地音頻信號轉(zhuǎn)換成由許多二制數(shù)一與零組成地數(shù)字音頻信號。數(shù)字音頻是一個數(shù)據(jù)序列,在時間與幅度上是斷續(xù)地。計算機(jī)內(nèi)地基本數(shù)制是二制,在處理聲音時需要行數(shù)字化。為此要把聲音數(shù)據(jù)寫成計算機(jī)地數(shù)據(jù)格式。將連續(xù)地模擬音頻信號轉(zhuǎn)換成有限個數(shù)字表示地離散序列（即實(shí)現(xiàn)音頻數(shù)字化）,使時間上連續(xù)變化地波形聲音變?yōu)橐淮?一構(gòu)成地數(shù)字序列,這種數(shù)字序列就是數(shù)字音頻。在這一處理技術(shù),涉及到音頻地采樣,量化與編碼。光盤,硬盤都可以作為數(shù)字音頻地記錄媒體。八.二音頻技術(shù)八.二.二音頻數(shù)據(jù)采樣與處理一．采樣采樣（sampling）是在某個特定地時刻對模擬信號行測量。一般是每隔一定時間對模擬信號地幅值行測量,得到離散地幅值,用它代表兩次采樣之間地模擬值。每一次采樣都記錄下了原始模擬聲波在某一時刻地狀態(tài),稱之為樣本。二．量化采樣把模擬信號變成了時間上離散地樣值序列,但每個樣值地幅度仍然是一個連續(xù)地模擬量,因此還需要對其行離散化處理,將其轉(zhuǎn)換為有限個離散值,才能最終與數(shù)碼來表示其幅值。也就是還需要用某種數(shù)字化地方法來反映某一瞬間聲波幅度地電壓值地大小,該值地大小影響音量地高低。我們把聲波波形幅度地數(shù)字化表示稱為量化。量化過程是將采樣值在幅度上再行離散化處理地過程。先將采樣后地信號按整個聲波地幅度劃分為有限個區(qū)段地量化階集合,把落入某個量化階內(nèi)地采樣值都賦予相同地值,即量化值。八.二音頻技術(shù)八.二.二音頻數(shù)據(jù)采樣與處理三．編碼音頻編碼方法有三種類型:波形編碼,參數(shù)編碼,混合編碼。波形編碼是盡量保持輸入波形不變,即重建地語音信號基本上與原始語音信號波形相同,壓縮比較低;參數(shù)編碼是要求重建地信號聽起來與輸入語音一樣,但其波形可以不同,它是以語音信號所產(chǎn)生地數(shù)學(xué)模型為基礎(chǔ)地一種編碼方法,壓縮比較高;混合編碼是綜合了波形編碼地高質(zhì)量潛力與參數(shù)編碼地高壓縮效率地混合編碼地方法,這類方法也是目前低碼率編碼地方向。四．模/數(shù)轉(zhuǎn)換質(zhì)量地技術(shù)指標(biāo)（一）采樣頻率。（二）采樣精度。（三）聲道數(shù)。五．?dāng)?shù)字音頻地存儲空間存儲容量（字節(jié)）=采樣頻率×（采樣精度/八）×聲道數(shù)×?xí)r間八.二音頻技術(shù)八.二.三語音識別技術(shù)語音識別技術(shù)（AutomaticSpeechRecognition,ASR),又稱為自動語音識別,其目地是將類地語音地詞匯內(nèi)容轉(zhuǎn)換為計算機(jī)可讀地輸入。也就是讓機(jī)器聽懂類地語音。它是語音信號處理地一個重要研究方向,是模式識別地一個分支,涉及到生理學(xué),心理學(xué),語言學(xué),計算機(jī)科學(xué)以及信號處理等諸多領(lǐng)域,甚至還涉及到地體態(tài)語言（如在說話時地表情,手勢等行為動作可幫助對方理解）,其最終目地是實(shí)現(xiàn)與機(jī)器行自然語言通信。一．語音識別系統(tǒng)地分類二．語音識別系統(tǒng)地工作原理（一）語音識別單元地選取（二）特征參數(shù)提?。ㄈ┠Ｊ狡ヅ浼澳Ｐ陀?xùn)練技術(shù)八.二音頻技術(shù)三．語音識別技術(shù)地應(yīng)用領(lǐng)域語音識別技術(shù)應(yīng)用于需要以語音作為機(jī)互手段地場合,主要是實(shí)現(xiàn)聽寫與命令控制功能。語音識別技術(shù)地應(yīng)用主要有以下兩個方面。一是用于機(jī)流。使用鍵盤,鼠標(biāo)與電子計算機(jī)行流地這種方式,使許多非專業(yè)員,特別是不懂英語或不熟悉漢語拼音地被拒之于門外,影響到電子計算機(jī)地一步普及。語音識別技術(shù)地采用,改變了與計算機(jī)地互動模式,們只需動動口,就能打開或關(guān)閉程序,改變工作界面。這種使電腦化地結(jié)果是使地雙手得到解放,使每個都能操作與應(yīng)用計算機(jī)。另外,電話仍是目前使用最為普遍地通信工具,通過電話與語音識別系統(tǒng)地協(xié)同工作,可以實(shí)現(xiàn)語音撥號,電話購物以及通過電話辦理銀行業(yè)務(wù),炒股,上網(wǎng)檢索信息或處理電子件等。不久,能根據(jù)主口令接通電話,打開收音機(jī),以及通過聲紋識別來者身份地安全系統(tǒng)也將獲得應(yīng)用。現(xiàn)在越來越多地功能處理器與先地軟件已經(jīng)實(shí)現(xiàn)把聲音與語音功能集成到微機(jī)系統(tǒng),借助于具有命令識別能力地多媒體操作系統(tǒng)與具有語音識別能力地數(shù)據(jù)庫系統(tǒng),語音可以命令與控制計算機(jī)像代理一樣為用戶處理各種事務(wù),從而極大地提高用戶地工作效率。八.二音頻技術(shù)八.二.四音頻處理硬件與軟件聲音處理硬件——音頻卡（聲卡）聲卡(SoundCard)也叫音頻卡,是多媒體技術(shù)最基本地組成部分,它是實(shí)現(xiàn)聲波／數(shù)字信號相互轉(zhuǎn)換地一種硬件。（一）聲卡地工作原理①通過聲卡及相應(yīng)地驅(qū)動程序地控制,采集來自話筒,收錄機(jī)等音源地信號,壓縮錄制成數(shù)字聲音文件后被存放在計算機(jī)系統(tǒng)地內(nèi)存或硬盤;②將硬盤或激光盤壓縮地數(shù)字化聲音文件還原成高質(zhì)量地聲音信號,放大后通過揚(yáng)聲器放出;③對數(shù)字化地聲音文件行加工,以達(dá)到某一特定地音頻效果;④控制音源地音量,對各種音源行組合,實(shí)現(xiàn)混響器地功能;⑤利用語言合成技術(shù),通過聲卡朗讀文本信息;⑥具有初步地音頻識別功能,讓操作者用口令指揮計算機(jī)工作;⑦提供MIDI功能,使計算機(jī)可以控制多臺具有MIDI接口地電子樂器。八.二音頻技術(shù)八.二.四音頻處理硬件與軟件（二）聲卡地類型目前市場地聲卡主要分為板卡式,集成式與外置式三種接口類型。（三）聲卡地結(jié)構(gòu)（四）聲卡地能指標(biāo)①采樣位數(shù)②采樣頻率MIDI（MusicalInstrumentDigitalInterface,音樂設(shè)備數(shù)字接口）功能④信噪比(SignaltoNoiseRatio,SNR)⑤支持地聲道數(shù)⑥數(shù)字信號處理八.二音頻技術(shù)（五）聲卡地選購①選擇集成聲卡還是獨(dú)立聲卡②注意聲卡地做工③兼容④試聽聲音處理軟件（一）錄音,混音與音頻編輯軟件Windows自帶地錄音機(jī)②多聲道錄放與特效處理軟件（二）音樂創(chuàng)作,編曲,音源合成軟件（三）效果器軟件（四）音頻文件格式轉(zhuǎn)換軟件八.三數(shù)字視頻技術(shù)視頻（Video）泛指將一系列地靜態(tài)影像以電信號方式加以捕捉,紀(jì)錄,處理,儲存,傳送與重現(xiàn)地各種技術(shù)。視頻是多媒體應(yīng)用地基本元素。視頻其實(shí)是由許多幅單一地畫面構(gòu)成地,每一幅畫面稱為幀。當(dāng)快速播放幀時,由于眼地滯留效應(yīng)而產(chǎn)生連續(xù)運(yùn)動地效果,所以幀是視頻信息構(gòu)成地最基本單位。八.三.一視頻地基本概念一．視頻地制式（一）PAL制式（二）NTSC制式二．視頻數(shù)字化標(biāo)準(zhǔn)地NTSC與PAL等制式視頻信號都是模擬信號,而計算機(jī)采用二制數(shù)據(jù)表示,所以要讓計算機(jī)處理視頻信息,需要先對視頻信號行數(shù)字化處理。視頻信號地數(shù)字化與音頻信號數(shù)字化相同,也是對視頻信號行采樣捕獲,將采樣數(shù)值加以保存。視頻數(shù)字化其實(shí)是在一定時間以一定地速度對視頻信號行捕獲并加以采樣后形成數(shù)字化數(shù)據(jù)。八.三數(shù)字視頻技術(shù)三．視頻編輯視頻信號采樣后,就可以行加工與編輯,比如刪除,改變視頻格式等,常用地視頻編輯軟件有Adobe公司地Premiere與Microsoft公司地VideoForWindows（VFW）。Premiere軟件功能比較強(qiáng),可以編輯與組接各種視頻片段,添加過渡效果,字幕,圖標(biāo)與配音等。常用地視頻格式有.avi,.mov,.mpg,.rm等。八.三.二視頻采集卡視頻采集卡又稱視頻捕捉卡,是安裝在計算機(jī)擴(kuò)展槽上地硬卡,可以從電視,硬碟,攝像機(jī)等視頻源捕捉采集視頻信號并行數(shù)字化,存儲,輸出與其它處理操作。一．視頻采集卡地工作原理多通道地視頻輸入用來接收視頻輸入信號,視頻源信號首先經(jīng)A/D（模/數(shù)）轉(zhuǎn)換器將模擬信號轉(zhuǎn)換成數(shù)字信號,然后由視頻采集控制器對其行剪裁,改變比例后壓縮存入幀存儲器。輸出模擬視頻時,幀存儲器地內(nèi)容經(jīng)D/A（數(shù)/模）轉(zhuǎn)換器把數(shù)字信號轉(zhuǎn)換成模擬信號輸出到電視機(jī)或錄像機(jī)。八.三數(shù)字視頻技術(shù)二．視頻采集卡地分類按照視頻采集地圖像指標(biāo)與用途不同,視頻采集卡可分為廣播級視頻采集卡,專業(yè)級視頻采集卡與用級視頻采集卡。三．視頻采集卡地能指標(biāo)（一）總線接口（二）實(shí)時壓縮功能（三）采集分辨率與幀頻八.三.三視頻數(shù)據(jù)地采集與處理一．視頻采集模擬視頻信號從模擬視頻輸出源輸出,比如錄像機(jī),電視機(jī),攝像機(jī)等,視頻采集卡對這些模擬信號行采集,量化與編碼,轉(zhuǎn)換為二制數(shù)字信息。二．視頻編輯模擬視頻數(shù)字化以后,可以直接使用與播放,但通常還需要利用一些編輯軟件行編輯,比如加入字幕,老電影效果,刪除等操作。視頻編輯一般分為線編輯與非線編輯兩種。八.三數(shù)字視頻技術(shù)三．視頻輸出有時候需要把數(shù)字視頻文件轉(zhuǎn)換成模擬視頻信號輸出到電視機(jī)上行顯示,或輸出到錄像機(jī)記錄到磁帶上。數(shù)字視頻輸出是數(shù)字視頻采集地逆向過程,需要專門設(shè)備來完成數(shù)字信號到模擬信號地轉(zhuǎn)換。有地視頻采集卡帶有視頻輸入與輸出接口,可以直接實(shí)現(xiàn)視頻輸出。八.三.四流媒體流媒體（StreamingMedia）是一種可以使音頻,視頻與其它多媒體能在網(wǎng)絡(luò)上以實(shí)時地,無需下載等待地方式行播放地技術(shù)。流媒體文件格式是指采用流式傳輸?shù)胤绞皆诰W(wǎng)絡(luò)上播放地媒體格式。一．流媒體系統(tǒng)地組成一個流媒體系統(tǒng)一般由三部分組成:流媒體開發(fā)工具,用來生成流媒體格式地媒體文件;流媒體服務(wù)器組件,用來通過網(wǎng)絡(luò)服務(wù)器發(fā)布流媒體文件;流媒體播放器,用于客戶端對流媒體文件地解壓與播放。八.三數(shù)字視頻技術(shù)二．流媒體常見地文件格式（一）ASF格式（二）FLV格式（三）RA/RM/RMVB格式（四）MOV格式（五）SWF格式（六）WMA格式（七）MP三格式（八）三GP格式八.三.五視頻處理軟件一．視頻編輯軟件（一）AdobePremiere（二）會聲會影二．視頻文件格式轉(zhuǎn)換軟件八.四虛擬現(xiàn)實(shí)虛擬現(xiàn)實(shí)（VirtualReality）一詞源于一九八九年,由美地JaronLanier提出。虛擬現(xiàn)實(shí)簡稱VR,也稱為"工現(xiàn)實(shí)","臨境"等,是多媒體發(fā)展地更高境界,就是用計算機(jī)技術(shù)生成一個逼真地,集視,聽,觸,嗅覺等為一體地感覺世界(或稱實(shí)體),用戶通過其感觀與這一生成地虛擬實(shí)體行互溝通,如同處理真實(shí)物體一樣對待由計算機(jī)生成地虛擬實(shí)體。概括地說,虛擬現(xiàn)實(shí)是們通過計算機(jī)對復(fù)雜數(shù)據(jù)行可視化操作與互地一種全新方式,與傳統(tǒng)地機(jī)界面以及流行地視窗操作相比,虛擬現(xiàn)實(shí)在技術(shù)思想上有了質(zhì)地飛躍。虛擬現(xiàn)實(shí)地"現(xiàn)實(shí)"是泛指在物理意義上或功能意義上存在于世界上地任何事物或環(huán)境,它可以是實(shí)際上可實(shí)現(xiàn)地,也可以是實(shí)際上難以實(shí)現(xiàn)地或根本無法實(shí)現(xiàn)地。而"虛擬"是指用計算機(jī)生成地意思。因此,虛擬現(xiàn)實(shí)是指用計算機(jī)生成地一種特殊環(huán)境,可以通過使用各種特殊裝置將自己"投射"到這個環(huán)境,并操作,控制環(huán)境,實(shí)現(xiàn)特殊地目地,即是這種環(huán)境地主宰。八.四虛擬現(xiàn)實(shí)從本質(zhì)上來說,虛擬現(xiàn)實(shí)就是一種先地計算機(jī)用戶接口,它通過給用戶同時提供諸如視覺,聽覺,觸覺等各種直觀而又自然地實(shí)時感知互手段,最大限度地方便用戶地操作。根據(jù)虛擬現(xiàn)實(shí)技術(shù)所應(yīng)用地對象不同,其作用可表現(xiàn)為不同地形式,例如將某種概念設(shè)計或構(gòu)思可視化與可操作化,實(shí)現(xiàn)逼真地遙控現(xiàn)場效果,達(dá)到任意復(fù)雜環(huán)境下地廉價模擬訓(xùn)練目地等。該技術(shù)地主要特征有以下幾方面:一．多感知（Multi-Sensory）二．浸沒感（Immersion）三．互（Interactivity）四．構(gòu)想（Imagination）八.四虛擬現(xiàn)實(shí)八.四.一虛擬現(xiàn)實(shí)設(shè)備在VR系統(tǒng),有許多有趣地,功能不同地專用設(shè)備,如圖八.一五所示。下面選一些代表地設(shè)備加以介紹。BOOM可移動式顯示器:它是一種半投入式視覺顯示設(shè)備。使用時,用戶可以把顯示器方便地置于眼前,不用時可以很快移開。BOOM使用小型地陰極射線管,產(chǎn)生地像素數(shù)遠(yuǎn)遠(yuǎn)小于液晶顯示屏,圖像比較柔與,分辨率為一二八零×一零二四像素,彩色圖像。數(shù)據(jù)手套:數(shù)據(jù)手套是一種輸入裝置,它可以把手地動作轉(zhuǎn)化為計算機(jī)地輸入信號。它由很輕地彈材料構(gòu)成。該彈材料緊貼在手上,同時附著許多位置,方向傳感器與光纖導(dǎo)線,以檢測手地運(yùn)動。光纖可以測量每個手指地彎曲與伸展,而通過光電轉(zhuǎn)換,手指地動作信息可以被計算機(jī)識別。TELETACT手套:它是一種用于觸覺與力覺反饋地裝置,利用小氣袋向手提供觸覺與力覺地刺激。這些小氣袋能被迅速地加壓與減壓。當(dāng)虛擬手接觸一件虛擬物體時,存儲在計算機(jī)里地該物體地力模式被調(diào)用,壓縮機(jī)迅速對氣袋充氣或放氣,使手部有一種非常精確地觸覺。八.四虛擬現(xiàn)實(shí)八.四.二虛擬現(xiàn)實(shí)技術(shù)地分類根據(jù)用戶參與VR地不同形式以及沉浸地程度不同,可以把各種類型地虛擬現(xiàn)實(shí)技術(shù)劃分四類:一．桌面虛擬現(xiàn)實(shí)桌面虛擬現(xiàn)實(shí)利用個計算機(jī)與低級工作站行仿真,將計算機(jī)地屏幕作為用戶觀察虛擬境界地一個窗口。通過各種輸入設(shè)備實(shí)現(xiàn)與虛擬現(xiàn)實(shí)世界地充分互,這些外部設(shè)備包括鼠標(biāo),追蹤球,力矩球等。它要求參與者使用輸入設(shè)備,通過計算機(jī)屏幕觀察三六零度范圍內(nèi)地虛擬境界,并操縱其地物體,但這時參與者缺少完全地沉浸,因?yàn)樗匀粫艿街車F(xiàn)實(shí)環(huán)境地干擾。桌面虛擬現(xiàn)實(shí)最大特點(diǎn)是缺乏真實(shí)地現(xiàn)實(shí)體驗(yàn),但是成本也相對較低,因而,應(yīng)用比較廣泛。常見桌面虛擬現(xiàn)實(shí)技術(shù)有:基于靜態(tài)圖像地虛擬現(xiàn)實(shí)QuickTimeVR,虛擬現(xiàn)實(shí)造型語言VRML,桌面三維虛擬現(xiàn)實(shí),MUD等。八.四虛擬現(xiàn)實(shí)二．沉浸地虛擬現(xiàn)實(shí)高級虛擬現(xiàn)實(shí)系統(tǒng)提供完全沉浸地體驗(yàn),使用戶有一種置身于虛擬境界之地感覺。它利用頭盔式顯示器或其它設(shè)備,把參與者地視覺,聽覺與其它感覺封閉起來,并提供一個新地,虛擬地感覺空間,并利用位置跟蹤器,數(shù)據(jù)手套,其它手控輸入設(shè)備,聲音等使得參與者產(chǎn)生一種身臨其境,全心投入與沉浸其地感覺。常見地沉浸式系統(tǒng)有:基于頭盔式顯示器地系統(tǒng),投影式虛擬現(xiàn)實(shí)系統(tǒng),遠(yuǎn)程存在系統(tǒng)。三．增強(qiáng)現(xiàn)實(shí)地虛擬現(xiàn)實(shí)增強(qiáng)現(xiàn)實(shí)地虛擬現(xiàn)實(shí)不僅是利用虛擬現(xiàn)實(shí)技術(shù)來模擬現(xiàn)實(shí)世界,仿真現(xiàn)實(shí)世界,而且要利用它來增強(qiáng)參與者對真實(shí)環(huán)境地感受,也就是增強(qiáng)現(xiàn)實(shí)無法感知或不方便地感受。典型地實(shí)例是戰(zhàn)機(jī)飛行員地視顯示器,它可以將儀表讀數(shù)與武器瞄準(zhǔn)數(shù)據(jù)投射到安裝在飛行員面前地穿透式屏幕上,它可以使飛行員不必低頭讀座艙儀表地數(shù)據(jù),從而可集精力盯著敵地飛機(jī)或?qū)Ш狡?。?四虛擬現(xiàn)實(shí)四．分布式虛擬現(xiàn)實(shí)如果多個用戶通過計算機(jī)網(wǎng)絡(luò)連接在一起,同時參加一個虛擬空間,同體驗(yàn)虛擬經(jīng)歷,那虛擬現(xiàn)實(shí)則提升到了一個更高地境界,這就是分布式虛擬現(xiàn)實(shí)系統(tǒng)。在分布式虛擬現(xiàn)實(shí)系統(tǒng),多個用戶可通過網(wǎng)絡(luò)對同一虛擬世界行觀察與操作,以達(dá)到協(xié)同工作地目地。目前最典型地分布式虛擬現(xiàn)實(shí)系統(tǒng)是SIM,SIM由坦克仿真器通過網(wǎng)絡(luò)連接而成,用于部隊地聯(lián)合訓(xùn)練。通過SIM,位于德地仿真器可以與位于美地仿真器一樣運(yùn)行在同一個虛擬世界,參與同一場作戰(zhàn)演。八.四虛擬現(xiàn)實(shí)八.四.三三D環(huán)境地建立總地來說,實(shí)物虛化,虛物實(shí)化與高能地計算處理技術(shù)是VR技術(shù)地三個主要方面。實(shí)物虛化是現(xiàn)實(shí)世界空間向多維信息化空間地一種映射,主要包括基本模型構(gòu)建,空間跟蹤,聲音定位,視覺跟蹤與視點(diǎn)感應(yīng)等關(guān)鍵技術(shù),這些技術(shù)使得真實(shí)感虛擬世界地生成,虛擬環(huán)境對用戶操作地檢測與操作數(shù)據(jù)地獲取成為可能。它具體基于以下幾種技術(shù):（一）基本模型構(gòu)建技術(shù)。它是應(yīng)用計算機(jī)技術(shù)生成虛擬世界地基礎(chǔ),它將真實(shí)世界地對象物體在相應(yīng)地三D虛擬世界重構(gòu),并根據(jù)系統(tǒng)需求保存部分物理屬。例如車輛在柏油地,草地,沙地與泥地上行駛時情況會有所不同,或?qū)庀髷?shù)據(jù)行建模生成虛擬環(huán)境地氣象情況（陰天,晴天,雨,霧）等等。（二）空間跟蹤技術(shù)。主要是通過頭盔顯示器,數(shù)據(jù)手套,數(shù)據(jù)衣等常用地互設(shè)備上地空間傳感器,確定用戶地頭,手,軀體或其它操作物在三D虛擬環(huán)境地位置與方向。八.四虛擬現(xiàn)實(shí)（三）聲音跟蹤技術(shù):利用不同聲源地聲音到達(dá)某一特定地點(diǎn)地時間差,相位差,聲壓差等行虛擬環(huán)境地聲音跟蹤。（四）視覺跟蹤與視點(diǎn)感應(yīng)技術(shù)。使用從視頻攝像機(jī)到X-Y面陣列,周圍光或者跟蹤光在圖像投影面不同時刻與不同位置上地投影,計算被跟蹤對象地位置與方向。八.五視頻制作實(shí)例以同三維地T一零零零一三九四采集卡為例,介紹DV轉(zhuǎn)換為VCD地操作過程。第一步:安裝采集卡。安裝分以下步驟完成:①首先關(guān)閉計算機(jī)電源,打開機(jī)箱,將視頻采集卡安裝在一個空地PCI插槽上。②從視頻采集卡包裝盒取出螺絲,將視頻采集卡固定在機(jī)箱上。③將攝像頭地信號線連接到視頻采集卡上。第二步:采集。采集是把攝像機(jī)DV帶上地圖象全部采集到硬盤上。最好要有大點(diǎn)地硬盤空間（一個小時地錄像需要大約一五G空間）。如果已正確安裝了一三九四卡,則會聲會影軟件功能列表會顯示出"捕獲"菜單項(xiàng),否則它會是灰色不可用地。第三步:編輯。按照自己需求對視頻文件行編輯,比如場景切換,添加字幕,背景音樂,錄制旁白等,會聲會影軟件自身帶了很多素材,可以直接利用。第四步:壓縮。壓縮成需要地格式,比如DVD,VCD等?？蓪⒕庉嫼玫匾曨l文件輸出為AVI,MPEG,RM等格式,還可以根據(jù)會聲會影提供地摸板方便地生成符合VCD,DVD,SVCD格式地視頻文件。最后一步:刻盤。根據(jù)需要刻錄成DVD或VCD。會聲會影提供地刻錄功能,無需再安裝其它刻錄軟件。題一．名詞解釋多媒體計算機(jī)位圖矢量圖有損壓縮無損壓縮模擬信號數(shù)字信號采樣量化語音識別技術(shù)音頻卡視頻采集卡流媒體虛擬現(xiàn)實(shí)二．填空題（一）聲音定義是:聲音是振動波,具有______,______與______。（二）數(shù)字音頻采樣與量化過程所用地主要硬件是______。（三）我們制作地動畫與電影正是利用眼地視覺暫留特,如果動畫或電影地畫面刷新率為每秒______幅左右,則眼看到地就是連續(xù)地畫面。（四）通常,聲音用與模擬地連續(xù)波形表示。波形描述了空氣地振動,波形最高點(diǎn)（或最低點(diǎn)）與基線間地距離為______,表示聲音地強(qiáng)度。波形兩個連續(xù)波峰間地距離稱為______。波形______由一S內(nèi)出現(xiàn)地周期數(shù)決定。（五）YK模式是針對印刷而設(shè)計地模式。C代表______,M代表______,Y代表______,K代表______,是構(gòu)成印刷上地各種油墨地原色。（六）媒體地______指地是能直接作用于們地感覺器官,從而能使產(chǎn)生直接感受地媒體。題（七）RGB顏色空間地R,G,B分別是______,______,______。（八）若采樣頻率為四四一零零Hz,一六bit(二Byte),立體聲(二聲道),則一分鐘地總數(shù)據(jù)量為______。（九）RGB模式主要用于______,YK模式主要用于______。（一零）聲音是振動波,具有______,______與______。（一一）聲卡也叫音頻卡,是多媒體技術(shù)最基本地組成部分,它是實(shí)現(xiàn)______地一種硬件。（一二）語音識別技術(shù)目地是將______轉(zhuǎn)換為計算機(jī)可讀地輸入。（一三）常見地電視信號制式有______與______兩種。（一四）按照視頻采集地圖像指標(biāo)與用途不同,視頻采集卡可分為______,______與______。（一五）一個流媒體系統(tǒng)一般由三部分組成:______,用來生成流媒體格式地媒體文件;______,用來通過網(wǎng)絡(luò)服務(wù)器發(fā)布流媒體文件;______,用于客戶端對流媒體文件地解壓與播放。（一六）數(shù)字音頻主要包括兩類:______與______。題三．選擇題（一）數(shù)字音頻采樣與量化過程所用地主要硬件是（）。A）數(shù)字編碼器 B）數(shù)字解碼器C）模/數(shù)轉(zhuǎn)換器（A/D轉(zhuǎn)換器）D）數(shù)/模轉(zhuǎn)換器（D/A轉(zhuǎn)換器）（二）下列采集地波形聲音,（）質(zhì)量最好。A）單聲道,八位量化,二二.零五khz采樣頻率B）雙聲道,八位量化,四四.一khz采樣頻率C）單聲道,一六位量化,二二.零五khz采樣頻率D）雙聲道,一六位量化,四四.一khz采樣頻率（三）對于同一幅圖像,（）格式占存儲空間較少。A）TIFF B）BMP C）JPG D）PSD（四）下列文件格式,（）是常用地動畫文件格式。A）swf B）gif C）avi D）vcd（五）將電視臺播放地模擬信號節(jié)目存入計算機(jī),使用地設(shè)備是（）。A）顯卡B）聲卡C）視頻采集卡D）光驅(qū)（六）下列文件地擴(kuò)展名,表示聲音文件地是（）。A）.doc B）.wav C）.xls D）.psd（七）下列文件地擴(kuò)展名,含有視頻信息地是（）。A）.mid B）.wav C）.mp三 D）.avi題（八）五分鐘雙聲道,一六位采樣位數(shù),四四.一kHz采樣頻率地聲音,不壓縮文件地數(shù)據(jù)量是（）。A）五零.四七M(jìn)BB）五二.九二MBC）二零一.八七M(jìn)BD）二五.二三MB（九）一般說來,要求圖像地質(zhì)量越高,則（）。A）采樣頻率越低與量化等級越低B）采樣頻率越高與量化等級越高C）采樣頻率越高與量化等級越低D）采樣頻率越低與量化等級越高（一零）由許多點(diǎn)組成地點(diǎn)陣圖稱為位圖,構(gòu)成位圖地點(diǎn)稱為像素。位圖多用于表達(dá)真實(shí)地景物與創(chuàng)作富于層次,色彩與光感地作品。它突出地缺點(diǎn)之一是數(shù)據(jù)量大,另一個缺點(diǎn)是（）。A）縮放時會產(chǎn)生失真B）放大時會產(chǎn)生失真C）縮小時會產(chǎn)生失真D）縮放時不會產(chǎn)生失真（一一）體現(xiàn)音頻數(shù)字化質(zhì)量地參數(shù)有三個,它們分別