基于DirectShow的MPEG-4視頻傳輸系統(tǒng)的實現(xiàn)

1、基于DirectShow的MPEG-4視頻傳輸系統(tǒng)的實現(xiàn)    摘要  本文簡單介紹了DirectShow技術(shù)，研究了利用DirectShow實現(xiàn)視頻采集、壓縮和網(wǎng)絡(luò)傳輸技術(shù)。并利用第三方提供的編解碼器實現(xiàn)了MPEG-4視頻數(shù)據(jù)的網(wǎng)絡(luò)傳輸系統(tǒng)，在該系統(tǒng)中利用RTP協(xié)議進行視頻數(shù)據(jù)傳輸，同時實現(xiàn)了遠端幀率的控制。關(guān)鍵詞 視頻; 采集; 壓縮; DirectShow; MPEG-4,RTP1 引言    近年來，隨著國民經(jīng)濟的發(fā)展，社會各個部門對于視頻監(jiān)視系統(tǒng)的需求越來越多。但目前的很多監(jiān)視系統(tǒng)都跟具體的硬件相關(guān)，必須

2、要具體的采集卡的支持才能實現(xiàn)。所以有必要開發(fā)一種具有通用性的視頻監(jiān)視系統(tǒng)，用普通的攝像頭就能實現(xiàn)視頻的采集。    基于DirectShow的開發(fā)能很靈活地控制音視頻的效果，所以選擇DirectShow這種可擴展性好的技術(shù)做開發(fā)對以后的應(yīng)用升級很有幫助。此外，為了實現(xiàn)流媒體傳輸控制的策略，流媒體的傳輸和回放也是應(yīng)解決的問題之一。由Microsoft提供的DirectShow技術(shù)基于組件對象模型技術(shù)，支持寬松的格式變化，提供高品質(zhì)的多媒體流回放。利用它可以在普通微機中實現(xiàn)流媒體的客戶端處理，并可以提高系統(tǒng)的通用性和可擴展性。    對于

3、視頻數(shù)據(jù)的傳輸，壓縮率是一個必須考慮到的因素。MPEG-4是由ISO和IEC的MPEG組制定的一個關(guān)于活動圖像和聲音的編碼國際標準。它在基于內(nèi)容的交互性、壓縮率、通用訪問能力等方面提供了一系列新的或改進的功能。MPEG-4視頻在提供較好的圖像質(zhì)量的同時擁有較高的壓縮率，適合于作為傳輸?shù)膱D像壓縮標準。 2  相關(guān)技術(shù)2.1 DirectShow技術(shù)簡介     DirectShow是Microsoft為開發(fā)高性能多媒體應(yīng)用而開發(fā)的底層應(yīng)用程序接口（API）,它是DirectX家族的核心成員之一。DirectShow自身是通過一種系統(tǒng)內(nèi)置的或程序員

4、開發(fā)的過濾器（Filter）來控制和處理多媒體數(shù)據(jù)的體系結(jié)構(gòu)。該體系結(jié)構(gòu)定義了如何處理和控制過濾器內(nèi)部及相互之間的多媒體數(shù)據(jù)流。每個過濾器都有輸入或輸出針（Pin）, 或兩者都有。    過濾器（Filter）是DirectShow的基本組成部分，是Filter Graph(過濾器圖)中最小的功能模塊，DirectShow將多媒體數(shù)據(jù)的處理分離成不同的步驟，這些不同的步驟由相應(yīng)的Filter去處理。這樣我們可以把不同的過濾器搭配在一起達到我們要求的來處理多媒體數(shù)據(jù)。過濾器根據(jù)實現(xiàn)功能的不同大致可分為3類：（1） 源過濾器（Source Filters）。

5、源過濾器負責(zé)得到原始媒體數(shù)據(jù)。這些媒體數(shù)據(jù)的來源包括本地硬盤或網(wǎng)絡(luò)上的媒體文件、各種采集卡等。（2） 轉(zhuǎn)換過濾器（Transform Filters）。轉(zhuǎn)換過濾器的任務(wù)是處理從其他過濾器中接收的數(shù)據(jù)，經(jīng)過一定的處理后再傳遞給下一個過濾器。編解碼器就是典型的轉(zhuǎn)換過濾器。（3） 表現(xiàn)過濾器（Rendering Filters）。表現(xiàn)過濾器對接收到的數(shù)據(jù)進行最后的處理。它做的工作有：把媒體數(shù)據(jù)保存為文件、將數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)、顯示視頻、回放音頻等1。    在DirectShow 系統(tǒng)之上是應(yīng)用程序(Application) 。應(yīng)用程序要按照程序所要實現(xiàn)

6、的功能建立起相應(yīng)的Filter Graph ,然后借助于Filter Graph Manager 來控制整個數(shù)據(jù)的處理過程。DirectShow 能在Filter Graph 運行的時候接收到各種事件,并通過消息的方式發(fā)送到應(yīng)用程序。這樣就實現(xiàn)了應(yīng)用程序與DirectShow 系統(tǒng)之間的交互。2.2 RTP/RTCP協(xié)議介紹    實時傳輸協(xié)議RTP(Realtime Transport Protocol)是針對Internet 上多媒體數(shù)據(jù)流的一個傳輸協(xié)議，1996 年由IETF( Internet 工程任務(wù)組) 的AVT小組作為RFC1889 發(fā)布AVT小組后

7、來對該文檔進行了不斷改進，于2003年7月提出了代替RFC1889的RFC3550。RTP充分體現(xiàn)了應(yīng)用層分幀這一現(xiàn)代通信協(xié)議的設(shè)計思想，允許其用戶了解、調(diào)整甚至制定連續(xù)媒體的打包方案，該協(xié)議被廣泛用于VoIP、視頻等實時媒體的傳送。RTP 協(xié)議包括RTP 和RTCP(RTP 控制協(xié)議) 兩個關(guān)系十分密切的子協(xié)議：    (1)  RTP協(xié)議傳輸具有實時特性的數(shù)據(jù)；    （2）RTCP協(xié)議-監(jiān)測QoS 和傳送參與傳輸者的信息。    RTP(實時傳輸協(xié)議) 通常工作在UDP的上層，從上層接收多

8、媒體信息碼流(如MPEG-4視頻) ，組裝成RTP 數(shù)據(jù)包,然后發(fā)送給下層UDP ，相當于OSI 的會話層，提供同步和排序服務(wù)。故RTP 協(xié)議適用于傳送連續(xù)性強的數(shù)據(jù)，如視頻、音頻等，并對網(wǎng)絡(luò)引起的時延差錯有一定的自適應(yīng)能力。RTCP 為實時控制協(xié)議，用于管理控制信息，如監(jiān)視網(wǎng)絡(luò)的延時和帶寬，一旦所傳輸?shù)亩嗝襟w信息的帶寬發(fā)生變化，接收端則通知發(fā)送端，廣播符號化識別碼和編碼參數(shù)，達到控制傳輸質(zhì)量的目的。此外,如果底層網(wǎng)絡(luò)支持多點傳播的話，RTP 還支持使用多點傳播向多個目的端點發(fā)送數(shù)據(jù)。    RTP協(xié)議具有如下特點5：（1）靈活性   

9、; RTP協(xié)議的數(shù)據(jù)報文和控制報文使用不同的端口，數(shù)據(jù)流和控制流分離，這樣大大地提高了協(xié)議的靈活性，處理也簡單。（2）支持多播    如果下層網(wǎng)路支持，可以支持多播。（3）可擴展性    RTP協(xié)議通常為一個具體的應(yīng)用提供服務(wù)，通過一個具體的應(yīng)用進程實現(xiàn)，而不作為OSI體系結(jié)構(gòu)中單獨的一層來實現(xiàn)，RTP只提供協(xié)議框架，開發(fā)者可以根據(jù)應(yīng)用的具體要求對協(xié)議進行充分的擴展。3 關(guān)鍵技術(shù)的實現(xiàn)    該系統(tǒng)的發(fā)送端實現(xiàn)思路如下：用USB攝像頭采集數(shù)據(jù)，用Divx 5.1.1 Codec 對采集到的數(shù)據(jù)進行MPEG

10、-4的編碼，然后連到一個發(fā)送Filter把編碼后的數(shù)據(jù)發(fā)送出去。其Filter Graph如圖1所示 ：                      圖1   發(fā)送端的Filter Graph   接收端的實現(xiàn)思路如下:通過一個接收Filter接收發(fā)送端發(fā)送的數(shù)據(jù)，然后再用Divx Decoder Filter對接收到的數(shù)據(jù)進行解碼。最后用Video

11、 Renderer把解碼后的數(shù)據(jù)播放出來。其Filter Graph如圖2所示：                      圖2   接收端的Filter Graph3.1  數(shù)據(jù)采集及編碼的實現(xiàn)3.1.1 采集Filter Graph的實現(xiàn)    采集應(yīng)用的Filter Graph一般比較復(fù)雜，而直接使用Filter Grap

12、h Manager上的IGraphBuilder接口構(gòu)建這種Filter Graph,有時候難度又很大。為此，DirectShow特別提供了一個輔助組件Capture Graph Builder,來簡化這種Filter Graph的創(chuàng)建。    首先是創(chuàng)建Filter Graph Manager 組件，核心代碼如下： 3.1.2 加入采集Filter3.1.3加入MPEG-4編碼器Filter    這里我們采用Divx 提供的開源編碼Filter。安裝DivX.Pro.v5.1.1后會自動安裝Divx的編碼器Filter和

13、解碼器Filter（注：解碼器Filter在接收端要用到）。在程序中加入Divx的編碼器Filter，實現(xiàn)思想是在Video Compressors目錄下枚舉到名稱為"DivX Pro(tm) 5.1.1 Codec"的Filter項后，把它加入到Filter Graph中即可。3.2 數(shù)據(jù)的發(fā)送和接收3.2.1 數(shù)據(jù)的發(fā)送Filter的實現(xiàn)       數(shù)據(jù)的發(fā)送要開發(fā)一個發(fā)送Filter，為了編程上的方便，這里采用程序內(nèi)Filter的形式來實現(xiàn)。即用類的形式而不是編寫一個成一個后綴為ax的組件注冊后再使用。這里我們定義一

14、個繼承自CBaseFilter的類CFilterMpeg4Sender。這個類必須實現(xiàn)以下功能3：   (1) 在類中定義CFilterMpeg4Sender上的Pin的實例mInputPin。   (2) 實現(xiàn)繼承自CBaseFilter:GetPin,用于返回Filter上各個Pin的對象指針。   (3) 實現(xiàn)繼承自CBaseFilter:GetPin,用于返回Filter上各個Pin的數(shù)量。    定義一個繼承自CRenderedInputPin的類CMpeg4InputPin，用于實現(xiàn)CFilt

15、erMpeg4Sender上的輸入pin，發(fā)送Filter通過該輸入pin接收編碼Filter輸出的數(shù)據(jù)，然后按一定的規(guī)則發(fā)送。    這個類必須實現(xiàn)以下功能2：   (1) 重寫方法EndOfStream。   (2) 實現(xiàn)IPin:BeginFlush和IPin:EndFlush兩個函數(shù)。   (3) 重寫方法CBasePin:CheckMediaType進行連接時媒體類型的檢查。   (4) 重寫方法CBasePin: Receive(),接收Sample并發(fā)送3.2.2 數(shù)據(jù)的

16、接收Filter的實現(xiàn) 數(shù)據(jù)的接收其實是要編寫一個Source Filter, 這個Source Filter名稱為CFilterMpeg4Receiver，也繼承自CBaseFilter。這跟發(fā)送Filter的實現(xiàn)有些類似，有一點需要注意的是該Filter輸出的MediaType的設(shè)置。     Char  MediaType=/媒體數(shù)據(jù)類型,通過在發(fā)送端把媒體類型寫到一個文件中而得到然后通過語句：CFilterMpeg4Receiver:SetupMediaType(char *)MediaType,88)設(shè)置輸出數(shù)據(jù)的MediaType。

17、    CFilterMpeg4Receiver:SetupMediaType再調(diào)用CMpeg4OutPin:SetupMediaType（）設(shè)置、接收到的媒體數(shù)據(jù)的格式，3.2.3 數(shù)據(jù)的網(wǎng)絡(luò)傳輸?shù)膶崿F(xiàn)        數(shù)據(jù)的發(fā)送我們采用開源代碼JRTPLIB【6】提供的RTP協(xié)議棧。最新的JRTPLIB對RFC3550的實現(xiàn)進行了封裝，開發(fā)人員只要初步了解RTP協(xié)議就可以開發(fā)出高質(zhì)量的音視頻傳輸程序。使用JRTPLIB時，只需要通過繼承RTPSession類，再重新以下幾個函數(shù)就可以實現(xiàn)視頻數(shù)據(jù)的接收。

18、     在網(wǎng)絡(luò)帶寬比較低的情況下（如十幾KBps），數(shù)據(jù)丟幀現(xiàn)象比較嚴重，這對于圖像質(zhì)量有很大的影響。我們采用拆幀（拆成1400個字節(jié)）以后再發(fā)送的方法，來降低丟幀率。接收端收到數(shù)據(jù)后，再把屬于同一視頻幀的數(shù)據(jù)再組起來。    網(wǎng)絡(luò)發(fā)送接收程序流程圖如圖3所示：圖3  網(wǎng)絡(luò)發(fā)送接收程序流程圖    對程序流程圖的說明如下：（1）發(fā)送端拆幀的算法如下：   然后把屬于同一視頻幀的數(shù)據(jù)組好，發(fā)送到解碼Filter。   經(jīng)過測試（在CDMA1.X網(wǎng)

19、絡(luò)下），采用拆幀方法傳輸視頻數(shù)據(jù)比直接發(fā)送丟包率更低，傳輸質(zhì)量有了很大的提高。3.3 數(shù)據(jù)解碼及回放的實現(xiàn)    解碼Filter使用的是Divx提供的開源解碼器，在接收Filter的后面接上該解碼Filter即可，最后接上Renderer Filter就可以把接收到的數(shù)據(jù)回放出來。3.4 實現(xiàn)幀率控制功能    通過在采集設(shè)備和編碼Filter（DivX Pro(tm) 5.1.1 Codec）之間加入一個幀率控制Filter來實現(xiàn)幀率的控制，該Filter相當于一個視頻幀數(shù)計數(shù)器，每接收到一幀，并不立即把該幀發(fā)給下游的編碼Filter，而是把計數(shù)器的值加1，當計數(shù)器的值達到最大值時才把當前收到的幀發(fā)出