多媒體信息處理

多媒體信息處理

(MultimediaComputing)

×××××

內(nèi)容0SpaceofMultimediaComputing1MediaandMultimedia2MediaProcessing2.1MediaFood(Value)Chain2.2DigitalItemDeclaration2.3MultimediaContentRepresentation(coding)2.4DigitalItemIdentificationandDescription2.5ContentManagementandUsage3NetworkedMultimediaApplications以文本為主以音頻為主以視(音)頻為主離散媒體：text,image,…連續(xù)媒體：audio,video,...0多媒體信息處理空間媒體處理媒體類型單媒體復(fù)合媒體應(yīng)用模式單機(jī)應(yīng)用模式網(wǎng)絡(luò)應(yīng)用模式獲取(創(chuàng)建)編輯管理傳輸檢索描述展現(xiàn)說(shuō)明編碼多媒體信息處理的總目標(biāo)

Toenabletransparentandaugmenteduseofmultimediaresourcesacrossawiderangeofnetworksanddevices.使能跨越各種不同網(wǎng)絡(luò)和設(shè)備,透明地、強(qiáng)化地使用多媒體資源。1MediaandMultimedia1.1計(jì)算機(jī)與媒體媒體又稱媒介、媒質(zhì)，指的是用于表示、存儲(chǔ)、分發(fā)、傳輸和展現(xiàn)數(shù)據(jù)(信息)的手段、方法、工具、設(shè)備或裝置。(Ingeneral,onedescribesmediumasameansforrepresentation,storage,distribution,transmissionandpresentationofdata.)計(jì)算機(jī)與媒體CPUOutputDeviceStorageInputDevice表示媒體存儲(chǔ)媒體展現(xiàn)媒體展現(xiàn)媒體感覺(jué)媒體感覺(jué)媒體表示媒體傳輸媒體1.2感覺(jué)媒體與表示媒體感覺(jué)媒體是人與人、人與計(jì)算機(jī)交換信息所使用的媒體；表示媒體是計(jì)算機(jī)內(nèi)部、計(jì)算機(jī)與計(jì)算機(jī)之間交換信息所使用的媒體；多媒體技術(shù)所指的媒體是：感覺(jué)媒體及其相應(yīng)的表示媒體。感覺(jué)媒體

表示媒體舉例視覺(jué)媒體文字景象聽(tīng)覺(jué)媒體語(yǔ)言聲音觸覺(jué)媒體嗅覺(jué)媒體味覺(jué)媒體力,運(yùn)動(dòng),溫度氣味滋味聲音景象類型名稱分類時(shí)間屬性/空間屬性/生成屬性圖象（image）圖形（graphics）文本（text）視頻（video）動(dòng)畫（animation）合成語(yǔ)音MIDI音樂(lè)(MIDI)MP3音樂(lè)波形聲音(wave)表示媒體的時(shí)間屬性time-independent(discrete)media（離散媒體，值不會(huì)隨著時(shí)間而變化）text,graphics,staticimage,….time-dependent(continuous)media（連續(xù)媒體，值隨著時(shí)間而變化）speech,music,video,animation,….表示媒體的空間屬性1D媒體單聲道speech,music,2D媒體雙聲道m(xù)usic;text,image,2Dgraphics,3D及多維媒體3Dgraphics,全景圖像,空間立體聲music,表示媒體的生成屬性自然媒體(使用數(shù)字化方法從現(xiàn)實(shí)世界獲取的媒體)取樣聲音,image,video合成媒體(使用計(jì)算機(jī)創(chuàng)建的媒體)合成語(yǔ)音,MIDI,graphics,animation多媒體系統(tǒng)中聽(tīng)覺(jué)媒體的分類

來(lái)源機(jī)外形式空間屬性媒體名稱 語(yǔ)言1D波形語(yǔ)音 語(yǔ)言多維多聲道波形語(yǔ)音 非語(yǔ)言1D波形聲音 非語(yǔ)言多維 雙聲道/3D立體聲 語(yǔ)言1D合成語(yǔ)音 語(yǔ)言多維多聲道合成語(yǔ)音 音樂(lè)1D合成音樂(lè)（MIDI音樂(lè)） 音樂(lè)多維多聲道合成音樂(lè)自然媒體合成媒體多媒體系統(tǒng)中視覺(jué)媒體的分類來(lái)源機(jī)外形式時(shí)間空間屬性媒體名稱文字靜止2D取樣文本圖畫靜止2D取樣圖像（image）圖畫靜止3D

全景圖像圖畫活動(dòng)2D視頻（video）圖畫活動(dòng)3D

臨境視頻 文字靜止2D編碼文本（簡(jiǎn)稱文本） 圖畫靜止2D二維圖形 圖畫靜止3D

三維圖形

圖畫活動(dòng)2D二維動(dòng)畫 圖畫活動(dòng)3D

三維動(dòng)畫自然媒體合成媒體自然媒體與合成媒體的區(qū)別

自然媒體合成媒體來(lái)源 獲取 創(chuàng)建表示方法 取樣表示 符號(hào)表示表現(xiàn)能力 真實(shí)感強(qiáng) 真實(shí)感有限可編輯性 有限 全部存儲(chǔ) 數(shù)據(jù)量很大 數(shù)據(jù)量很小檢索 困難 容易傳輸 要求高 要求低展現(xiàn) 處理容易 處理復(fù)雜1.3多媒體多媒體強(qiáng)調(diào)的是使用多種媒體、綜合表達(dá)信息內(nèi)容并進(jìn)行交互式處理的技術(shù)。從本質(zhì)上來(lái)說(shuō)，它具有三種最重要的特性：1媒體的多樣性，其中至少有一種連續(xù)媒體；2媒體的集成性（綜合性），多種不同媒體綜合地表現(xiàn)某個(gè)內(nèi)容，取得更好的效果；3處理的交互性，使人們獲取和使用信息的過(guò)程中具有細(xì)粒度的控制和操縱能力。多媒體是信息技術(shù)發(fā)展的必然趨勢(shì)計(jì)算機(jī)通信大眾傳媒數(shù)值計(jì)算數(shù)據(jù)處理圖形、圖象處理聲音處理視頻處理郵政電報(bào)電話傳真數(shù)據(jù)通信綜合業(yè)務(wù)(N-ISDN)多媒體書，刊，報(bào)紙廣播電影電視光盤出版物交互電視網(wǎng)絡(luò)出版支持寬帶綜合業(yè)務(wù)的數(shù)據(jù)通信網(wǎng)絡(luò)信息技術(shù)走向匯聚和融合2MediaProcessing2.1媒體食物(價(jià)值)鏈媒體處理內(nèi)容對(duì)媒體進(jìn)行的各種處理：媒體準(zhǔn)備(mediapreparation)媒體獲取/媒體創(chuàng)建媒體編輯(mediaediting)媒體集成/組合(mediaintegration/composition)結(jié)構(gòu)描述、特征描述、應(yīng)用描述….媒體通信/發(fā)送(mediacommunication/delivery)媒體消費(fèi)(mediaconsumption)媒體轉(zhuǎn)換(碼)，展現(xiàn),瀏覽,檢索，…..媒體食物(價(jià)值)鏈多媒體作品(文檔)媒體集成媒體編輯媒體準(zhǔn)備媒體編輯媒體準(zhǔn)備媒體編輯媒體準(zhǔn)備媒體編輯媒體準(zhǔn)備網(wǎng)絡(luò)媒體通信媒體消費(fèi)文本圖像音頻視頻內(nèi)容(content)媒體展現(xiàn)媒體消費(fèi)媒體展現(xiàn)數(shù)字項(xiàng)(digitalitem)多媒體(內(nèi)容)處理的7要素1數(shù)字項(xiàng)目說(shuō)明(DigitalItemDeclaration)2內(nèi)容表示(ContentRepresentation)3數(shù)字項(xiàng)目的標(biāo)識(shí)與描述(DigitalItemIdentificationandDescription)4內(nèi)容管理與使用(ContentManagementandUsage)5知識(shí)產(chǎn)權(quán)管理與保護(hù)(Inte11ectualPropertyManagementandProtection)6內(nèi)容發(fā)送與終端及網(wǎng)絡(luò)(TerminalsandNetworks)7事件報(bào)告(EventReporting)。2.2DigitalItemDeclarationGoalEstablishauniformandflexibleabstractionandinteroperableschemafordefiningdigitalitems.為定義數(shù)字項(xiàng)而建立一個(gè)統(tǒng)一、靈活的抽象表示和可互操作的模式。DigitalItemDeclaration的需求1Digitalitemsareopenandextensibletoanyandallmediaresourcestypesanddescriptionschemes.數(shù)字項(xiàng)是開(kāi)放的，可擴(kuò)展到所有媒體資源類型和描述模式.Compositeitemscanbeconstructedfromotheritems,withoutlosingthestructureandpropertiesofthesub-items.

復(fù)合項(xiàng)由子項(xiàng)組合而成,子項(xiàng)的結(jié)構(gòu)和性質(zhì)不丟失.Multiplecompositeitemsmayshareindividualelements.多個(gè)復(fù)合項(xiàng)可以共享單個(gè)元素.DigitalItemDeclaration的需求Anindividualelementmaybereferencedbymultiplelocationswithinadigitalitem.

一個(gè)元素可以被數(shù)字項(xiàng)中的多個(gè)地方引用.Toenableapplicationstocorrectlymanipulateandvalidatedigitalitems.能使應(yīng)用程序正確操縱和驗(yàn)證數(shù)字項(xiàng).Identificationandrevisionofdigitalitemsandtheircomponentsmustbesupportableinanopenandextensiblemanner.對(duì)數(shù)字項(xiàng)及其組件的標(biāo)識(shí)和修改必須以開(kāi)放和可擴(kuò)展的方式進(jìn)行.DigitalItemDeclaration的需求2Digitalitemsexplicitlydefinetherelationshipsbetweenelementsandtheircorrespondingdescriptors.數(shù)字項(xiàng)對(duì)其元素與相應(yīng)描述符之間的關(guān)系顯式地進(jìn)行定義Descriptorsmaybesimplestatementsorfullmediacomponents.描述符可以是簡(jiǎn)單語(yǔ)句也可以是整個(gè)媒體組件Descriptorscanbedescribedbyotherdescriptors.描述符也可以由其它描述符描述Anchorsmustbedeclarablewithinacomponentthatallow:descriptorstobeassociatedwithaspecificpointorrangewithinamediaresource.linkingbackfromwithinamediaresourcetotheanchor.錨(anchor)必須在一個(gè)組件中予以說(shuō)明，從而允許描述符與媒體資源中的一個(gè)指定點(diǎn)或指定范圍相關(guān)聯(lián)，也允許從媒體資源反向鏈接到錨。CurrentSituation目前還沒(méi)有數(shù)字項(xiàng)的標(biāo)準(zhǔn)模型或表示方法:沒(méi)有一種能適合任何場(chǎng)合中說(shuō)明各種各樣內(nèi)容的通用的、靈活的、可以互操作的解決方案,

也沒(méi)有一個(gè)能將任何種類媒體資源同各種類型媒體描述信息鏈接在一起的統(tǒng)一的方法。由于數(shù)字項(xiàng)的概念是建立在顯式地描述媒體數(shù)據(jù)與描述數(shù)據(jù)之間關(guān)系的想法之上，這就嚴(yán)重限制了標(biāo)準(zhǔn)模型或表示的存在。舉例:MPEG-4的場(chǎng)景說(shuō)明MPEG-4視聽(tīng)場(chǎng)景(audiovisualscenes)是由若干媒體對(duì)象(mediaobjects)以層次方式組合而成的，最低層的稱為初級(jí)(primitive)媒體對(duì)象,如:

stillimages(e.g.asafixedbackground),videoobjects(e.g.atalkingperson-withoutthebackground)audioobjects(e.g.thevoiceassociatedwiththatperson);textandgraphics;

talkingsyntheticheadsandassociatedtextusedtosynthesizethespeechandanimatethehead;syntheticsound初級(jí)媒體對(duì)象既可以是自然媒體，也可以是合成媒體,既可以是2維的，也可以是3維的。MPEG-4的場(chǎng)景說(shuō)明MPEG-4視聽(tīng)場(chǎng)景的描述可以看作一棵樹,葉節(jié)點(diǎn)是初級(jí)媒體對(duì)象,中間節(jié)點(diǎn)是復(fù)合媒體對(duì)象（compoundmediaobjects），根節(jié)點(diǎn)則為場(chǎng)景。使用這種方法,內(nèi)容提供商(作者)可以構(gòu)造出相當(dāng)復(fù)雜的場(chǎng)景,例如：placemediaobjectsanywhereinagivencoordinatesystem;applytransformstochangethegeometricaloracousticalappearanceofamediaobject;groupprimitivemediaobjectsinordertoformcompoundmediaobjects;applystreameddatatomediaobjects,inordertomodifytheirattributes(e.g.asound,amovingtexturebelongingtoanobject;animationparametersdrivingasyntheticface);change,interactively,theuser’sviewingandlisteningpointsanywhereinthescene.

視聽(tīng)場(chǎng)景的說(shuō)明1對(duì)象是如何組合在一起的。MPEG-4的場(chǎng)景的組織呈樹狀結(jié)構(gòu)，它是一個(gè)無(wú)回路的有向圖，圖中每個(gè)節(jié)點(diǎn)代表一個(gè)媒體對(duì)象。樹的結(jié)構(gòu)未必是不變的，當(dāng)增加節(jié)點(diǎn)、刪除節(jié)點(diǎn)或替換節(jié)點(diǎn)時(shí)，節(jié)點(diǎn)的屬性（如位置參數(shù)）就會(huì)發(fā)生修改。2對(duì)象的空間和時(shí)間定位。MPEG-4中，每一個(gè)視聽(tīng)對(duì)象都有其空間和時(shí)間范圍，有自己的局部坐標(biāo)系。局部坐標(biāo)系是用作在空間和時(shí)間范圍內(nèi)操縱該媒體對(duì)象的手柄（handle），通過(guò)指定一個(gè)將對(duì)象從局部坐標(biāo)系變換到全局坐標(biāo)系的坐標(biāo)變換，可以將媒體對(duì)象放置在場(chǎng)景中規(guī)定位置處。3屬性值選擇。單個(gè)的媒體對(duì)象和場(chǎng)景描述節(jié)點(diǎn)向組合層（compositionlayer）提供了一組參數(shù)，從而使它們的部分行為可以進(jìn)行控制。例如:聲音的音調(diào)，合成對(duì)象的顏色，可分級(jí)編碼的增強(qiáng)信息的起用和停止等。2.3MultimediaContentRepresentation(coding)

Rationale

(基本原理)Content是多媒體技術(shù)框架中最重要的要素,它需要進(jìn)行編碼、標(biāo)識(shí)、描述、存儲(chǔ)、分發(fā)、保護(hù)、交易、消費(fèi)等等。它以滿足一組需求的數(shù)字編碼方式表示,數(shù)字內(nèi)容的有效表示將會(huì)允許開(kāi)展許多新的服務(wù).Requirements1DataTypes–itshallbepossibletorepresentalargerangeofdatatypes,bothwithnaturalandsyntheticorigin,aswellasanycombinationofthesedatatypes,e.g.stillpictures,frame-basedaswellasarbitrarilyshapedvideo,specificandgeneric3Dmodels,graphics,text,naturalandsyntheticaudio,naturalandsyntheticspeech,etc.數(shù)據(jù)類型：應(yīng)能夠表示各種不同的數(shù)據(jù)類型，包括自然的和合成的，也包括兩者的組合。如：靜止圖像,其于幀的視頻,任意形狀的視頻,專用的和通用的3D模型,圖形,文本,自然聲音和合成聲音,自然語(yǔ)音和合成語(yǔ)音等。

Requirements2ContentVariety–itshallbepossibletorepresentanytypeofcontentforallthedatatypesconsidered.內(nèi)容種類：上述所有數(shù)據(jù)類型應(yīng)能表示任何種類的內(nèi)容。

Requirements3Efficiency–itshallbepossibletorepresentcontentforeachofthedatatypesabovementionedinthemostbitefficientwayfordifferenttargetqualities;foramultimediascenecomposedasacombinationofvariouselementsofthedatatypesmentionedabove,itshallbepossibletoselectivelychoosethecodingefficiency/qualityforeachoneofthem.有效性：根據(jù)不同的目標(biāo)質(zhì)量，上述每一種數(shù)據(jù)類型都使用最有效的數(shù)據(jù)位來(lái)表示內(nèi)容。對(duì)于由不同數(shù)據(jù)類型的多種元素組成的多媒體場(chǎng)景，應(yīng)能對(duì)每個(gè)元素選擇其編碼的效率/質(zhì)量。Requirements4Scalability–itshallbepossibletorepresentalltheelementsinthemultimediasceneinascalablewayandwithafinegranularityinthedimensionsconsideredrelevant,e.g.spatial,temporal,quality.可分級(jí)性：應(yīng)能以一種可分級(jí)的方法來(lái)表示多媒體場(chǎng)景中的所有元素，且在所考慮的相關(guān)維度如時(shí)間、空間、質(zhì)量上是細(xì)粒度可分級(jí)的。Requirements5RandomAccess–itshallbepossibletorandomlyaccess,withinalimitedtimeandwithfineresolution,atallscalablelayers,allelementsinthemultimediascene;foramultimediascenecomposedasacombinationofvariouselementsofthedatatypesmentionedabove,itshallbepossibletorandomlyaccesseachoneofthem.隨機(jī)存?。涸谝欢〞r(shí)間內(nèi)，以比較精細(xì)的分辨率，在所有可分級(jí)的層次中，對(duì)多媒體場(chǎng)景中的所有元素可以進(jìn)行隨機(jī)存?。粚?duì)于由不同數(shù)據(jù)類型元素組成的多媒體場(chǎng)景，應(yīng)能隨機(jī)存取場(chǎng)景中的每一個(gè)元素。Requirements6ErrorResilience–itshallbepossibletoselectivelyprotectthevariouselementsinamultimediasceneagainstchannelerrorswithrelevanterrorpatterns,e.g.mobilenetworks,ATMnetworksorstoragemedia.出錯(cuò)恢復(fù)：對(duì)多媒體場(chǎng)景中的各種元素，應(yīng)能有選擇地進(jìn)行保護(hù)，以免受到通道錯(cuò)誤的影響，如移動(dòng)網(wǎng)絡(luò)、ATM網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)錯(cuò)誤等。

Requirements7Interaction–itshallbepossibletointeractwiththevariouselementsinthemultimediascene,withafinegranularity,bothinspaceandtime;foramultimediascenecomposedasacombinationofvariouselementsofthedatatypesmentionedabove,itshallbepossibletoindependentlyinteractwitheachoneofthem.交互：無(wú)論是時(shí)間和空間，應(yīng)能以細(xì)粒度方式與多媒體場(chǎng)景中的各種元素進(jìn)行交互；對(duì)于由不同數(shù)據(jù)類型元素組成的多媒體場(chǎng)景，應(yīng)能單獨(dú)同其中的每個(gè)元素進(jìn)行交互。Requirements8Synchronization–itshallbepossibletosynchronizealltheelementsinthemultimediasceneaswellasotherrelevantdata.同步：應(yīng)能對(duì)多媒體場(chǎng)景中所有元素以及其它相關(guān)數(shù)據(jù)進(jìn)行同步。Requirements9Multiplexing–itshallbepossibletomultiplexthecodeddatacorrespondingtothevariouselementsinthemultimediasceneaswellasotherrelevantdata.復(fù)用：應(yīng)能對(duì)多媒體場(chǎng)景中不同元素的編碼數(shù)據(jù)以及其它相關(guān)數(shù)據(jù)進(jìn)行復(fù)用。CurrentSituation編碼問(wèn)題已研究了很多年,已經(jīng)有了很多有名的標(biāo)準(zhǔn),涉及許多種媒體,滿足了不同類型的需求.例如:stillpictures:JPEG,JPEG-LSandJPEG2000frame-basedvideo:H.261,H.263,MPEG-1andMPEG-2Videoobject-basedpicturesandvideo:MPEG-4Visual.audio:MPEG-1,MPEG