基于IP Multicast的分布式音視頻接幾和共享的監(jiān)控系統(tǒng)的傳輸和實(shí)

1、    基于IP Multicast的分布式音視頻接幾和共享的監(jiān)控系統(tǒng)的傳輸和實(shí).    基于IP Multicast的分布式音視頻接幾和共享的監(jiān)控系統(tǒng)的傳輸和實(shí).    類(lèi)別：消費(fèi)電子      摘要：設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于ip multicast技術(shù)的遠(yuǎn)程數(shù)字音視頻監(jiān)控系統(tǒng)，提出了分布式音視頻接入共享的解決方案，能夠有效地節(jié)省網(wǎng)絡(luò)帶寬；針對(duì)視頻、音頻語(yǔ)音和控制數(shù)據(jù)的不同傳輸特點(diǎn)，對(duì)其所采用的傳輸技術(shù)作了詳細(xì)探討，給

2、出了具體實(shí)現(xiàn)方法。 隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)、計(jì)算機(jī)視覺(jué)與模式識(shí)別技術(shù)的發(fā)燕尾服，一種以數(shù)字化、智能化為特點(diǎn)的多媒體遠(yuǎn)程數(shù)字監(jiān)控系統(tǒng)應(yīng)運(yùn)而生，即基于ip的數(shù)字監(jiān)控系統(tǒng)，實(shí)現(xiàn)了由傳統(tǒng)的模擬監(jiān)控到數(shù)字監(jiān)控質(zhì)的飛躍。與傳統(tǒng)的模擬監(jiān)控系統(tǒng)相比較，數(shù)字遠(yuǎn)程監(jiān)控系統(tǒng)幾個(gè)最主要的優(yōu)勢(shì)是：可以借助網(wǎng)絡(luò)實(shí)現(xiàn)遠(yuǎn)程監(jiān)控；在遠(yuǎn)程不同地點(diǎn)的分控中心或同個(gè)分控中心可同時(shí)調(diào)看某一個(gè)或者幾個(gè)監(jiān)控現(xiàn)場(chǎng)的音視頻數(shù)據(jù)，從而實(shí)現(xiàn)分布式的音頻頻接入和音視頻數(shù)據(jù)共享，同時(shí)，可以與監(jiān)控現(xiàn)場(chǎng)人員進(jìn)行對(duì)講；可以對(duì)遠(yuǎn)程監(jiān)控現(xiàn)場(chǎng)的云臺(tái)、攝像機(jī)等外圍設(shè)備進(jìn)行控制。視頻、音頻的實(shí)時(shí)、分布式傳輸及控制指令的可靠傳輸是遠(yuǎn)程數(shù)字監(jiān)控系統(tǒng)的一個(gè)關(guān)鍵問(wèn)題

3、。本文設(shè)計(jì)并實(shí)現(xiàn)了遠(yuǎn)程數(shù)字音頻頻監(jiān)控系統(tǒng)，采用ip multicast技術(shù)作為分布式音視頻執(zhí)著入和共享的解決方案，并針對(duì)視頻、音頻語(yǔ)音和控制數(shù)據(jù)不同的特點(diǎn)，對(duì)其所采用的不同傳輸技術(shù)進(jìn)行了探討，給出了具體實(shí)現(xiàn)方法。1 系統(tǒng)的總體結(jié)構(gòu)遠(yuǎn)程監(jiān)控系統(tǒng)一般包括三部分：前端監(jiān)控現(xiàn)場(chǎng)、通信設(shè)備和后端分控中心。整個(gè)系統(tǒng)基于client/server（客戶(hù)機(jī)/服務(wù)器）模式?？傮w結(jié)構(gòu)如圖1所示。（1）前端監(jiān)控現(xiàn)場(chǎng)由監(jiān)控現(xiàn)場(chǎng)主機(jī)及一些外圍設(shè)備組成。外圍設(shè)備包括攝像機(jī)、電動(dòng)鏡頭、云臺(tái)、防護(hù)罩、監(jiān)視器、多功能解碼器及報(bào)警器。監(jiān)控現(xiàn)場(chǎng)主機(jī)運(yùn)行客戶(hù)前端軟件，實(shí)現(xiàn)視頻、音頻數(shù)據(jù)的實(shí)時(shí)采集、壓縮、解壓縮（音頻）（視頻傳輸 單向

4、的，音頻傳輸是雙向的）及打包傳送；對(duì)壓縮的視（音）頻數(shù)據(jù)進(jìn)行經(jīng)存儲(chǔ)（也可在分近中心進(jìn)行）。存儲(chǔ)方式為循環(huán)存儲(chǔ)、定時(shí)存儲(chǔ)、手動(dòng)存儲(chǔ)及運(yùn)動(dòng)視頻檢測(cè)啟動(dòng)存儲(chǔ)。接收來(lái)自分控中心的控制指令（也可在本地實(shí)施），對(duì)云臺(tái)動(dòng)作（上、下、左、右及自動(dòng)）電動(dòng)鏡頭的三可變（光圈、焦距和聚焦）。（2）通信設(shè)備是指所采用的傳輸信道和相關(guān)設(shè)備，通信網(wǎng)絡(luò)為lan及wan。（3）后端設(shè)備由若干分控中心計(jì)算機(jī)組成。各分控計(jì)算機(jī)運(yùn)行服務(wù)器端軟件，接收來(lái)自前端壓縮視（音）頻、顯示（播放）；通過(guò)網(wǎng)絡(luò)對(duì)前端云臺(tái)、攝像機(jī)進(jìn)行控制；采用組播技術(shù)，實(shí)現(xiàn)分布式視頻執(zhí)著入和分豐式視頻共享：每個(gè)分控中心主機(jī)可以同時(shí)監(jiān)控多個(gè)前端，即“一點(diǎn)對(duì)多點(diǎn)”；不

5、同分控心也可以同時(shí)監(jiān)控同一前端，即“多點(diǎn)對(duì)一點(diǎn)”。2 網(wǎng)絡(luò)傳輸模塊的設(shè)計(jì)與實(shí)現(xiàn)2.1 系統(tǒng)傳輸數(shù)據(jù)類(lèi)型的特點(diǎn)及通信協(xié)議的選擇系統(tǒng)傳輸數(shù)據(jù)有：控制數(shù)據(jù)、音頻、視頻數(shù)據(jù)、后端分控中心通過(guò)網(wǎng)絡(luò)向監(jiān)控現(xiàn)場(chǎng)主機(jī)外圍設(shè)備云臺(tái)及攝像機(jī)發(fā)送控制信號(hào)，實(shí)現(xiàn)云臺(tái)動(dòng)作（上、下、左、右、自動(dòng)）攝像機(jī)光圈、焦距及聚焦三可變，要求控制信號(hào)的傳輸準(zhǔn)確無(wú)誤；音頻、視頻是連續(xù)，數(shù)據(jù)量大，允許傳輸中存在一定的數(shù)據(jù)錯(cuò)誤率及數(shù)據(jù)丟失率，但實(shí)時(shí)性要求很高。此外，在監(jiān)控系統(tǒng)中，要實(shí)現(xiàn)音視頻的分布式接入和數(shù)據(jù)共享，必須進(jìn)行音視頻的多點(diǎn)傳輸。樣實(shí)現(xiàn)上述目標(biāo)？首先是通信協(xié)議的選擇，tcp/ip協(xié)議是廣泛使用的網(wǎng)協(xié)議，其網(wǎng)絡(luò)模型定義了四層（即網(wǎng)

6、絡(luò)接口層、網(wǎng)絡(luò)層、傳輸層、應(yīng)用層）網(wǎng)絡(luò)通信協(xié)議。傳輸層包含兩個(gè)協(xié)議：傳輸控制協(xié)議（tcp）和用戶(hù)數(shù)據(jù)報(bào)協(xié)議（udp）。ip是國(guó)際互聯(lián)協(xié)議，位于網(wǎng)絡(luò)層。tcp協(xié)議是面向連接的，提供可靠的流服務(wù)；udp是無(wú)連接的，提供數(shù)據(jù)報(bào)服務(wù)；tcp采用提供確認(rèn)與超時(shí)重發(fā)、滑動(dòng)窗口機(jī)制等措施來(lái)保證傳輸?shù)目煽啃?，正是這些措施增加了網(wǎng)絡(luò)的開(kāi)銷(xiāo)。如果用tcp傳輸視（音）頻數(shù)據(jù)，大量的數(shù)據(jù)容量引起重傳。，使得網(wǎng)絡(luò)負(fù)載大并會(huì)加大延遲；udp協(xié)議是最簡(jiǎn)單的傳輸協(xié)議，不提供可靠性保證，正因?yàn)閡dp協(xié)議不進(jìn)行數(shù)據(jù)確認(rèn)與重傳國(guó)，大大提高了傳輸效率，具有高效快速的特點(diǎn)；ipv4定義了三種ip數(shù)據(jù)包的傳輸：?jiǎn)尾?、廣播及組播。要系統(tǒng)中

7、實(shí)現(xiàn)視（音）頻數(shù)據(jù)的多點(diǎn)傳輸，若采用單播，則同樣的音、視頻數(shù)據(jù)要發(fā)送多次，這樣導(dǎo)致發(fā)送者負(fù)擔(dān)重、延遲長(zhǎng)、網(wǎng)絡(luò)擁塞；若用廣播，網(wǎng)絡(luò)中的每個(gè)站點(diǎn)都將接收到數(shù)據(jù)，不管該結(jié)點(diǎn)否需要數(shù)據(jù)，增加了非接收者的開(kāi)銷(xiāo)；組播是一種允許一個(gè)或多個(gè)發(fā)送者（組播源）發(fā)送單一的數(shù)據(jù)包到多個(gè)接收者（一次的、同時(shí)的）的網(wǎng)絡(luò)技術(shù)。組播源把數(shù)據(jù)包發(fā)送到特定組播組，而只有屬于該組播組的地址才能接收到數(shù)據(jù)包。由于無(wú)論有多少個(gè)目的地址，在整個(gè)網(wǎng)絡(luò)的任何一條鏈路上都只傳送單一的數(shù)據(jù)包。因此組播提高了網(wǎng)絡(luò)傳輸?shù)男剩瑯O大地節(jié)省了網(wǎng)絡(luò)傳輸。組播方式只適用于udp。綜上所述，采用tcp/ip傳輸控制信號(hào)，即信令通道；采用udp/ip傳輸音視頻

8、信號(hào)，即數(shù)據(jù)通道。ip組播依賴(lài)一個(gè)特殊的地址組“移播址”，即d類(lèi)地址。范圍在-55之間（其中-55是被保留的地址），d類(lèi)地址是動(dòng)態(tài)分配和恢復(fù)的瞬態(tài)地址。組播地址只能作為信宿地址使用，而不能出現(xiàn)在任何信源地址中。每一個(gè)組播組對(duì)應(yīng)于動(dòng)態(tài)分配 的一個(gè)d類(lèi)地址。組播的特點(diǎn)：組播組的成員是動(dòng)態(tài)的，主機(jī)可以任何時(shí)間加入或離開(kāi)組播組，主機(jī)組中的成員在位置上和數(shù)量 舊沒(méi)有限制的。2.2 windows下，ip組播的winsock2實(shí)現(xiàn)windows環(huán)境下組播通信是基于windowssocket的。windows socket提供兩

9、種不同ip組播的實(shí)現(xiàn)方法：windows socket提供兩種不同的ip組播的實(shí)現(xiàn)方法：winsock1與winsock2。在windows2000平臺(tái)實(shí)現(xiàn)vc+6.0開(kāi)發(fā)工具，在本系統(tǒng)中實(shí)現(xiàn)了基于winsock2的組播通信編程。發(fā)送端（前端、客戶(hù)端）實(shí)現(xiàn)步驟：(1)加載winsock2庫(kù)，完成winsock2的初始化：wsastarup(makeword(2,2),&wsadata)；(2)建立本地套接字（udp）：m_socket=wsasocke(af_inet,sock_dgram,ipproto_udp,null,0,wsa_flag_multipoint_c_leafwsa

10、_flag_multipoint_d_leaf);/組播通信具有兩個(gè)層面的重要特征：控制層面和數(shù)據(jù)層面?？刂茖用鏇Q定一個(gè)多播組建立通信的方式，數(shù)據(jù)層面決定通信成員間數(shù)據(jù)傳輸?shù)姆绞?。每一個(gè)層面有兩種形式，一種是“有限的”，另一種是“無(wú)根的”；數(shù)據(jù)報(bào)ip組播在兩個(gè)層面上都是“無(wú)根”的。任一用戶(hù)發(fā)送的數(shù)據(jù)都將被傳送到組中所有其它成員。最后一個(gè)參數(shù)表明新創(chuàng)建的套接字在控制層面與數(shù)據(jù)層面都是“無(wú)根的”。圖2    可以通過(guò)setsocket函數(shù)設(shè)置套接字的屬性，如地址重用，緩沖區(qū)是接收還是發(fā)送。m_localaddr.sin_family = af_inet;m_

11、localaddr.sin_port=m_iport;/本地端口號(hào)m_localaddr.sin _addr.s_un.s_addr=m_ulocalip;/本地ip地址；（3）綁定（將新創(chuàng)建的套字節(jié)與本地插口地址進(jìn)行綁定）：bind(m_socket,(psockaddr)&(m_localaddr),sizeof(m_localaddr);(4)設(shè)置生存時(shí)間（即數(shù)據(jù)包最多允許路由多少個(gè)網(wǎng)段）：wsaioctl(m_socket,sio_multicast_scope,/設(shè)置數(shù)據(jù)報(bào)生存時(shí)間；&imcastttl,/生存時(shí)間大?。籹izeof(imcastttl),null,0

12、,&cbret,null,null)；（5）配置loopback,以決定組播數(shù)據(jù)幀是否回送：int bloopback=false;wsaioct(m_socket,sio_multipoint_loopback,/允許或禁止組播數(shù)據(jù)幀回送；&bloopback,sizeof(bloopback)，null,0,&cbret,null,null);(6)收發(fā)數(shù)據(jù)：在發(fā)送方（前端、客戶(hù)端）響應(yīng)發(fā)送的消息函數(shù)中調(diào)用下面函數(shù)：wsasendto (m_socket,&stwsabuf,&cbret,0,(struct sockaddr)&stdesta

13、ddr,/發(fā)送的目的地址；sizeof(struct(sockaddr),null,null);在發(fā)送方（前端、客戶(hù)端）響應(yīng)接收消息函數(shù)中調(diào)用下面函數(shù)：wsarecvfrom(m_socket,&stwsabuf,1,& cbret,&flag,(struct sockaddr)&stsrcaddr,/源地址；&ilen，null，null）；（7）將組播套接字設(shè)置為異步i/o工作模式，在該套節(jié)字上接收事件為基礎(chǔ)的網(wǎng)絡(luò)事件通知：wsaeventselect(m_socket，m_hnetworkevent，/網(wǎng)絡(luò)事件句柄；將此套字節(jié)與該事件句柄并聯(lián)在一起

14、；fd_writefd_read）；/發(fā)生此兩個(gè)事件之一，則將m_hnetworkevent置為有信號(hào)狀態(tài)；（8）在工作線(xiàn)程中設(shè)置：wsawaitformultipleevent（3，/等待事件的個(gè)數(shù)）；p->m_eventarray,/存放事件句柄的數(shù)組；false，wsa_infinite，false）；（9）關(guān)閉組播套字節(jié)：closesocket(m_socket)；接收端（后端、服務(wù)器端）實(shí)現(xiàn)步驟：（1）-（3）與發(fā)送端（客戶(hù)端）相同；（4）調(diào)用wsajloinleaf加入組播組：socket（psockaddr）&（m_stdestaddr,/組播導(dǎo)址，與發(fā)送方的目的地

15、址相同；sizeof(m_stdestaddr),unll,null,null,null,jl_both);/允許接收和發(fā)送；（5）與客戶(hù)端（6）相同；（6）與客戶(hù)端（7）相同；（7）與客戶(hù)端（8）相同；（8）離開(kāi)組播組；closesocket(newsock)；/newsock是調(diào)用wsaoinleaf（）返回的套節(jié)字。2.3 在監(jiān)控系統(tǒng)中網(wǎng)絡(luò)傳輸模塊的設(shè)計(jì)網(wǎng)絡(luò)傳輸模塊流程如圖2所示。發(fā)送端（前端監(jiān)控現(xiàn)場(chǎng)主機(jī)、客戶(hù)端）監(jiān)控主機(jī)運(yùn)行客戶(hù)端程序。在主線(xiàn)程中，啟動(dòng)視同、音頻兩個(gè)線(xiàn)程分別對(duì)視頻及音頻進(jìn)行采集，放入視（音）頻緩沖區(qū)；視頻在本地回放；同時(shí)，監(jiān)聽(tīng)分控中心的連接請(qǐng)求，收到連接請(qǐng)求，tcp三次

16、握手，建立tcp連接（信令通道）；通過(guò)信令通道，向分控心發(fā)送二組組播地址及端口號(hào)（對(duì)應(yīng)視頻及音頻，音頻兩個(gè)線(xiàn)程；分別在視（音）頻線(xiàn)程中完成；利用winsock2建立視（音）頻數(shù)據(jù)通道（udp）（源碼前已述及）；對(duì)視（音）頻進(jìn)行壓縮編碼、組播發(fā)送；音頻線(xiàn)程接收分控中心的音頻數(shù)據(jù)包，解碼并播放；實(shí)現(xiàn)視頻的單向傳輸和音頻的雙向傳輸。接收端（后端分控中心、服務(wù)器端）分控中心主機(jī)運(yùn)行服務(wù)器端程序，在主線(xiàn)程中向前端監(jiān)控現(xiàn)場(chǎng)主機(jī)發(fā)出連接請(qǐng)求（call），三次握手建立tcp連接（信令通道）；后端接收到組播地址及端口號(hào)后，啟動(dòng)視（音）頻兩個(gè)線(xiàn)程，完成；利用winsock2建立視（音）頻數(shù)據(jù)通道（udp），加入視（音）頻組播組，接收壓縮視（音）頻包，并解碼顯示（播放）；其中音頻線(xiàn)程，還要完成音頻數(shù)據(jù)包解碼顯示（播放）；其中音頻線(xiàn)程，還要完成音頻數(shù)據(jù)包的壓縮、發(fā)送；實(shí)現(xiàn)視頻的單向傳輸、音頻的雙向傳輸。一個(gè)后端分控中心可同時(shí)監(jiān)控12路前端視頻及音頻信號(hào)，在設(shè)計(jì)服務(wù)器端監(jiān)控程序時(shí)，采用多線(xiàn)程技術(shù)，每建立一對(duì)前端監(jiān)控主機(jī)與后端分控中心（服務(wù)器）的tcp連接，就開(kāi)兩個(gè)接收線(xiàn)程（一個(gè)接收視頻線(xiàn)程；一個(gè)接收音頻線(xiàn)程），視頻線(xiàn)程接收視頻數(shù)據(jù)包進(jìn)行解壓縮及回放；音頻線(xiàn)程接收音頻數(shù)據(jù)包進(jìn)行解壓縮及播放。對(duì)云臺(tái)及攝像機(jī)的控制指令通過(guò)信令通道傳輸。本系統(tǒng)運(yùn)行在win2000平臺(tái)