基于DSP的視頻采集及網(wǎng)絡(luò)傳輸模塊的設(shè)計

1、目錄摘要. I Abstract. I I第1章緒論 (11.1 課題背景 (11.2 網(wǎng)絡(luò)攝像機技術(shù)發(fā)展概況 (11.3 本課題主要研究內(nèi)容及工作 (71.4 本文結(jié)構(gòu) (8第2章DSP原理及視頻評估算法 (102.1 DSP芯片特點及應(yīng)用 (102.2 實時傳輸視頻的評估標(biāo)準(zhǔn) (152.3 本章小結(jié) (17第3章數(shù)據(jù)網(wǎng)絡(luò)傳輸原理 (183.1 OSI參考模型結(jié)構(gòu) (183.2 TCP/IP協(xié)議 (193.3 TCP/IP實時視頻流網(wǎng)絡(luò)傳輸?shù)乃惴▽崿F(xiàn) (26- I -3.4 本章小結(jié) (28第4章系統(tǒng)的硬件設(shè)計與實現(xiàn) (294.1 硬件的總體設(shè)計 (294.2 硬件電路的設(shè)計 (334.3

2、網(wǎng)絡(luò)傳輸模塊的實現(xiàn) (394.4 實時傳輸視頻的算法和解決方案 (424.5 本章小結(jié) (44第5章系統(tǒng)的軟件設(shè)計與實現(xiàn) (455.1 軟件系統(tǒng)整體設(shè)計 (455.2 驅(qū)動程序開發(fā) (475.3 帶有網(wǎng)絡(luò)通信功能應(yīng)用程序的設(shè)計 (515.4 本章小結(jié) (53結(jié)論 (54- II -參考文獻(xiàn). 錯誤!未定義書簽。攻讀碩士學(xué)位期間所發(fā)表的學(xué)術(shù)論文. 錯誤!未定義書簽。致謝. 錯誤!未定義書簽。- III -第1章緒論1.1課題背景視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應(yīng)用于安防、交通、公安、銀行、水利等各個領(lǐng)域,幾乎覆蓋各行各業(yè),視頻監(jiān)控的技術(shù)和手段也在不斷的發(fā)展和提高,尤其是近年來,隨著計算

3、機軟硬件技術(shù)的發(fā)展、Internet 的普及、多媒體處理手段的提高、視頻壓縮技術(shù)的成熟、網(wǎng)絡(luò)傳輸技術(shù)的迅猛發(fā)展,促使視頻監(jiān)控技術(shù)正向全數(shù)字化網(wǎng)絡(luò)化方向發(fā)展,網(wǎng)絡(luò)攝像機(Web-Camera越來越受到遠(yuǎn)程監(jiān)控領(lǐng)域的關(guān)注。傳統(tǒng)意義上的網(wǎng)絡(luò)攝像機是將攝像頭采集到的視頻信號送入與攝像頭連接的PC中,通過PC機安裝的相應(yīng)軟件將數(shù)據(jù)進(jìn)行編碼、壓縮和網(wǎng)絡(luò)傳輸。這種方法不僅成本高,系統(tǒng)的穩(wěn)定性和安全性也非常低,由于普通PC并非是專門用于處理視頻數(shù)據(jù)的,因此系統(tǒng)的整體效率會很低。本文所討論研究的網(wǎng)絡(luò)攝像機是通過模擬采集的方法,將實時的視頻數(shù)據(jù)流采集到系統(tǒng)的緩存中,通過軟件編程對數(shù)據(jù)進(jìn)行編碼和壓縮,最后將系統(tǒng)作為

4、一個網(wǎng)絡(luò)結(jié)點接駁于符合TCP/IP網(wǎng)絡(luò)傳輸協(xié)議的網(wǎng)絡(luò)中(如Internet。因此只要遠(yuǎn)程計算機擁有相應(yīng)的訪問權(quán)限,即可實現(xiàn)跨區(qū)域的網(wǎng)絡(luò)實時監(jiān)控。本系統(tǒng)以TI公司的DM642為核心,并設(shè)計出將視頻采集、視頻編碼處理和網(wǎng)絡(luò)傳輸?shù)裙δ芗捎谝惑w的網(wǎng)絡(luò)攝像機。通過這一系統(tǒng),可以利用計算機對非本地的現(xiàn)場進(jìn)行多點監(jiān)控,節(jié)省了大量人力物力。1.2網(wǎng)絡(luò)攝像機技術(shù)發(fā)展概況DSP的發(fā)展歷程大致經(jīng)歷了70年代的理論先行、80年代的產(chǎn)品普及、90年代的突飛猛進(jìn)和現(xiàn)如今的全領(lǐng)域應(yīng)用四個階段。在DSP出現(xiàn)以前,實時信號處理一般是在通用處理器中完成的。隨著集成電路制造工藝的不斷提高,二十世紀(jì)70年代末出現(xiàn)了專門的可編程數(shù)字

5、信號處理器。世界上第一個單片DSP芯片是1978年AMI公司宣布誕生的S2811,1979年美國Intel公司發(fā)布- 1 -的商用可編程器件2920是一個主要里程碑。這兩種芯片內(nèi)部都沒有現(xiàn)代DSP 芯片必須擁有的單周期乘法器。1980年,日本NEC公司推出的PD7720是第一個具有硬件乘法器的商用DSP芯片。如今,TI公司的TMS320系列產(chǎn)品已經(jīng)成為目前最有影響的DSP芯片,包括了定點、浮點和多處理器3個類型的產(chǎn)品,每個類型又有不同性能和價格的具體系列可供用戶選擇。TI公司已經(jīng)成為世界上最大的DSP供應(yīng)商,占有很大的市場份額。除TI公司的TMS320系列外,其它具有代表性并應(yīng)用較廣泛的產(chǎn)品主

6、要有ADI的ADSP-21xx和Blackfin系列,Motorola公司的DSP56000、DSP96000,AT&T公司的DSP16、DSP32等。現(xiàn)如今隨著DSP應(yīng)用的不斷擴(kuò)展和深入,DSP器件的發(fā)展兼顧了3P的因素,即性能(Performance、功耗(Power Consumption和價格(Price。當(dāng)今的DSP技術(shù)已經(jīng)進(jìn)入了嶄新的時代。第一,可編程DSP將是主導(dǎo)產(chǎn)品?？删幊藾SP能給生產(chǎn)廠商提供較大的靈活性。生產(chǎn)廠商可在同一個DSP平臺上開發(fā)出各種不同型號的系列產(chǎn)品,以滿足不同用戶的需求。同時,可編程DSP為廣大用戶提供了便捷的升級途徑。第二,定點DSP成為主流。雖然從

7、理論上講浮點DSP的運算精度更高,動態(tài)范圍更大,但定點DSP器件的成本較低,對存儲器的要求也較低,而且耗電較省。因此,定點的可編程DSP器件仍是市場上的主流產(chǎn)品。第三,系統(tǒng)級集成DSP是潮流?？s小DSP芯片的尺寸、追求更高的運算速度和進(jìn)一步降低功耗始終是DSP的技術(shù)發(fā)展方向。在生產(chǎn)工藝上,采用1m以下的CMOS制造工藝技術(shù)和砷化鎵集成電路制作技術(shù),使集成度更高、速度更快、功耗更低,從而使高頻、高速的DSP處理器得到更大的發(fā)展。第四,通過并行和存儲器構(gòu)架的變化提升DSP芯片的性能。高速、高性能的DSP器件將以RISC(精簡指令系統(tǒng)計算機結(jié)構(gòu)和單片機并行計算機基本結(jié)構(gòu)為主導(dǎo),以完成并行處理系統(tǒng)操作

8、。脈沖陣列和數(shù)據(jù)流陣列也將成為并行處理器的主要體系結(jié)構(gòu)。隨著芯片主頻的不斷攀升,存儲器的訪問速度日益成為系統(tǒng)性能提升的瓶頸。為了解決存儲器速度與CPU內(nèi)核速度不匹配的問題,高性能的CPU普遍采用Cache(高速緩存機制,新的DSP芯片也開始采用這種結(jié)構(gòu)。第五,DSP與可編程器件相結(jié)合。DSP的許多新應(yīng)用需要更加強大的數(shù)字信號處理能力,借助PLD(可編程邏輯電路和FPGA(現(xiàn)場可編程門陣列來扮演像DSP加法器或協(xié)處理器一樣的角色,可以滿足日益提高的信號處理- 2 -需求。此外,將DSP與MCU融合在一起的雙核平臺,將成為DSP技術(shù)發(fā)展的一種新潮流。在許多嵌入式應(yīng)用領(lǐng)域,既需要在數(shù)據(jù)處理方面具有強

9、大功能的DSP,也需要在智能控制方面技高一籌的MCU。這種DSP與MCU相結(jié)合的系統(tǒng)既具有DSP器件在數(shù)據(jù)處理方面的獨特優(yōu)勢,又具有應(yīng)用目標(biāo)所需要的技術(shù)特性。如今Internet技術(shù)已經(jīng)成為數(shù)據(jù)交換共享和數(shù)據(jù)傳輸?shù)闹饕绞胶洼d體,而嵌入式系統(tǒng)也開始與以太網(wǎng)網(wǎng)絡(luò)接口相接合組成嵌入式網(wǎng)絡(luò)終端。通過TCP/IP協(xié)議,實現(xiàn)通過以太網(wǎng)與遠(yuǎn)程PC進(jìn)行網(wǎng)絡(luò)通信。嵌入式網(wǎng)絡(luò)終端相比于PC,具有更高的安全性、可靠性,擁有更強大的數(shù)據(jù)運算能力,及更專業(yè)化的處理進(jìn)程,同時也具有PC機的兼容性和擴(kuò)展性。最重要的是嵌入式網(wǎng)絡(luò)終端可以利用網(wǎng)絡(luò)減少操作的復(fù)雜性并降低使用成本,同時通過設(shè)置權(quán)限可以使用網(wǎng)絡(luò)相關(guān)資源,提高計算能

10、力。借助嵌入式Internet技術(shù),可以將數(shù)量眾多的嵌入式終端設(shè)備接入廣域范圍的互聯(lián)網(wǎng)絡(luò)環(huán)境,將Internet的應(yīng)用從傳統(tǒng)的桌面PC機延伸到生產(chǎn)、控制現(xiàn)場的8位、16位、32位單片機系統(tǒng),實現(xiàn)基于Internet的遠(yuǎn)程數(shù)據(jù)采集、遠(yuǎn)程控制、自動報警、上傳/下載數(shù)據(jù)文件、自動發(fā)送E-mail等功能,從而大大擴(kuò)展Internet的應(yīng)用范圍。嵌入式Internet技術(shù)的出現(xiàn)歷史雖然不是很長,但是發(fā)展速度卻非常的快。不少專家對此做出預(yù)測:21世紀(jì)將是嵌入式Internet的時代,將會產(chǎn)生比PC機時代成百上千倍的服務(wù)器和超級嵌入式服務(wù)器。這些服務(wù)器將與我們能想到的各種物理信息、生物信息相鏈接,并通過In

11、ternet自動、實時、方便、簡單地提供給需要這些信息的對象。將來通過Internet傳輸?shù)男畔?將有大部分來自小型嵌入式系統(tǒng)。因此,嵌入式Internet將有很好的發(fā)展前景和廣闊的市場,未來的Internet將由嵌入式Internet占主導(dǎo)地位。目前,基于Internet的嵌入式系統(tǒng)己成為人們研究的熱點。典型的嵌入式系統(tǒng)接入有三種方式1:第一,采用專用嵌入式網(wǎng)絡(luò)協(xié)議的EMIT(嵌入式Internet網(wǎng)絡(luò)技術(shù)。EMIT由emNet和emGateway兩部分組成,emNet協(xié)議運行在嵌入式系統(tǒng)MCU內(nèi)部,使得集成emMicro的嵌入式系統(tǒng)能夠和嵌入式網(wǎng)關(guān)emGateway進(jìn)- 3 -行通信。em

12、Gateway運行在計算機中,應(yīng)用系統(tǒng)要通過emGateway與Intemet 聯(lián)接。這種方式對嵌入式系統(tǒng)的MCU要求較高,同時需要PC機做網(wǎng)關(guān),目前已很少應(yīng)用。第二,使用專用芯片,如Webchip。Webchip是獨立的專用網(wǎng)絡(luò)接口芯片,嵌入式系統(tǒng)的MCU通過它與網(wǎng)關(guān)連接即可接收并執(zhí)行經(jīng)由Internet遠(yuǎn)程傳來的命令或?qū)?shù)據(jù)交給Webchip發(fā)送出去。和EMIT相比不需要PC機作網(wǎng)關(guān)。第三,在處理機中加入TCP/IP協(xié)議方式的支持。這其中又包括兩種方式:利用MCU或者DSP的可編程特性,使用高級語言編程的方式直接處理TCP/IP協(xié)議和采用固化了TCP/IP協(xié)議的專用網(wǎng)絡(luò)硬件芯片,如Seik

13、o Instruments公司的S7600A等。處理機加TCP/IP協(xié)議的方式最為靈活,能按用戶需求實現(xiàn)很多復(fù)雜的功能,更不需要PC機作網(wǎng)關(guān),這種方式已經(jīng)成為現(xiàn)如今嵌入式Internet的主流解決方案。數(shù)字信號有很多優(yōu)點,但當(dāng)模擬信號數(shù)字化后其頻帶大大加寬,一路6MHz的普通電視信號數(shù)字化后,其碼率將高達(dá)167MbPs,對存儲器容量要求很大,占有的帶寬將達(dá)80MHz左右,這樣將使數(shù)字信號失去實用價值。數(shù)字壓縮技術(shù)很好地解決了上述困難,壓縮后信號所占用的頻帶大大低于原模擬信號的頻帶。因此說,數(shù)字壓縮編碼技術(shù)是使數(shù)字信號走向?qū)嵱没年P(guān)鍵技術(shù)之一。隨著數(shù)字視頻技術(shù)的發(fā)展,使得數(shù)字圖像編碼在各個方面得

14、到廣泛的應(yīng)用,但各種編碼方法只有標(biāo)準(zhǔn)化后才能降低編解碼硬件的價格和解決不同廠商設(shè)備之間的相互操作問題。ITU-T與ISO/IEC是制定視頻編碼標(biāo)準(zhǔn)的兩大組織,ITU-T的標(biāo)準(zhǔn)包括H.261、H.263、H.264,主要應(yīng)用于實時視頻通信領(lǐng)域,如可視電話、會議電視。MPEG系列標(biāo)準(zhǔn)是由ISO/IEC制定的,主要應(yīng)用于視頻存儲(DVD、廣播電視、因特網(wǎng)或流媒體等,廣泛使用的有MPEG-1、MPEG-2、MPEG-4等編碼標(biāo)準(zhǔn)。兩個組織也共同制定了一些標(biāo)準(zhǔn),H.262標(biāo)準(zhǔn)等同于MPEG-2的視頻編碼標(biāo)準(zhǔn),而最新的H.264標(biāo)準(zhǔn)則被納入MPEG-4的第10部分2。- 4 -發(fā)展成支持全碼率的應(yīng)用,這一

15、點從它支持眾多的圖像格式就可以看出,如Sub-QCIF、QCIF、CIF、4CIF以及16CIF等格式。H.264是ITU-T的VCEG(視頻編碼專家組和ISO/IEC的MPEG的聯(lián)合視頻組開發(fā)的一個新的數(shù)字視頻編碼標(biāo)準(zhǔn),它既是ITU-T的H.264,又是ISO/IEC的MPEG-4的第10部分。在技術(shù)上,H.264標(biāo)準(zhǔn)中有多個閃光之處,如統(tǒng)一的VLC符號編碼,高精度、多模式的位移估計,基于4x4塊的整數(shù)變換、分層的編碼語法等。這些措施使得H.264算法具有很高的編碼效率,在相同的重建圖像質(zhì)量下,能夠比H.263節(jié)約50%左右的碼率。H.264的碼流結(jié)構(gòu)網(wǎng)絡(luò)適應(yīng)性強,增加了差錯恢復(fù)能力,能夠很

16、好的適應(yīng)IP和無線網(wǎng)絡(luò)的應(yīng)用,是目前最具有發(fā)展前景的視頻壓縮編碼標(biāo)準(zhǔn)。MPEG-2是MPEG組織于1994年推出壓縮標(biāo)準(zhǔn),以實現(xiàn)視/音頻服務(wù)與應(yīng)用互操作的可能性。MPEG-2標(biāo)準(zhǔn)是針對標(biāo)準(zhǔn)數(shù)字電視和高清晰度電視在各種應(yīng)用下的壓縮方案和系統(tǒng)層的詳細(xì)規(guī)定,編碼碼率從每秒3兆比特到100兆比特,標(biāo)準(zhǔn)的正式規(guī)范在ISO/IEC13818中。MPEG-2不是MPEG-l的簡單升級, MPEG-2在系統(tǒng)和傳送方面作了更加詳細(xì)的規(guī)定和進(jìn)一步的完善。MPEG-2特別適用于廣播級的數(shù)字電視的編碼和傳送,被認(rèn)定為SDTV和HDTV的編碼標(biāo)準(zhǔn)。MPEG-4也是由ISO/IEC下的“動態(tài)圖象專家組”制定的圖像壓縮編碼

17、標(biāo)準(zhǔn),于1999年初正式成為國際標(biāo)準(zhǔn)。它是一個適用于低傳輸速率應(yīng)用的方案。實際上,MPEG-4對64Kbis/s以下、64Kbis/s至384Kbis/s和384Kbis/s至4Mbis/s三種比特率范圍作了明確的最佳化處理。低比特率是MPEG-4的一個主要的目標(biāo),有關(guān)誤碼的校正,也給予了極大的關(guān)注,這將使MPEG-4非常適合于易產(chǎn)生誤碼的環(huán)境中使用,例如個人手持式傳輸設(shè)備。當(dāng)然,MPEG-4標(biāo)準(zhǔn)也支持碼率高達(dá)38.4Mbis/s的類和級,甚至碼率高達(dá)1.2Gbis/s的演播室質(zhì)量的類和級。與MPEG-1和MPEG-2相比,MPEG-4更加注重多媒體系統(tǒng)的交互性和靈活性,它利用強大的工具開發(fā)出

18、了全新的多媒體編碼概念,使之適用于互操作性和更大范圍內(nèi)的應(yīng)用,己成為目前廣泛使用的壓縮系統(tǒng)3。遠(yuǎn)程視頻監(jiān)控是指遠(yuǎn)端的監(jiān)控系統(tǒng)通過通信系統(tǒng)對現(xiàn)場系統(tǒng)進(jìn)行監(jiān)測與控制,其目的在于突破地域和環(huán)境上的限制,實現(xiàn)集中和高層監(jiān)控,最終實現(xiàn)生產(chǎn)資源和社會資源的優(yōu)化配置。視頻監(jiān)控技術(shù)在中國的發(fā)展已有10年的歷史- 5 -了。經(jīng)過數(shù)年的發(fā)展,大致經(jīng)歷了以下三個重要的階段4。第一階段,傳統(tǒng)模擬圖像監(jiān)視系統(tǒng)。這是圖像監(jiān)控系統(tǒng)的早期實現(xiàn)方式,系統(tǒng)主要由攝像機、監(jiān)視器、視頻線纜、控制線纜等組成,采用模擬方式傳輸,因此傳輸距離較短,主要應(yīng)用于小范圍監(jiān)控的場合。傳統(tǒng)模擬圖像監(jiān)視系統(tǒng)的主要優(yōu)點是圖像清晰、不丟幀、延遲小。但其功

19、能單一、易受干擾、成本較高、無法升級、系統(tǒng)的擴(kuò)展能力差,無法形成有效的報警聯(lián)動。第二階段,基于PC機的多媒體監(jiān)控系統(tǒng)。基于PC機的多媒體監(jiān)控系統(tǒng)的產(chǎn)生得益于數(shù)字視頻壓縮編碼技術(shù)的日益成熟和微型計算機PC的普及化。該種系統(tǒng)的一般結(jié)構(gòu)為:在監(jiān)控現(xiàn)場,有攝像頭、檢測和報警設(shè)備等,通過各自的傳輸線路連接到監(jiān)控終端。終端可以是一臺PC機,也可以是專用工業(yè)機箱組成的多媒體監(jiān)控終端。這種監(jiān)控系統(tǒng)功能較強,但穩(wěn)定性和安全性不夠好、施工布線工作量大,同時需要專業(yè)的軟件,開發(fā)周期長、難度大,不利于日后升級和維護(hù)。第三階段,基于嵌入式Web服務(wù)器的遠(yuǎn)程視頻監(jiān)控系統(tǒng)。嵌入式Web服務(wù)器的主要原理是,視頻服器內(nèi)嵌入一個

20、Web服務(wù)器,攝像機送來的視頻信號經(jīng)數(shù)字化后進(jìn)行壓縮編碼,通過內(nèi)部總線傳到Web服務(wù)器,網(wǎng)絡(luò)上的用戶可以通過專用軟件觀看攝像機圖像,授權(quán)用戶還可以控制攝像機云臺鏡頭的動作或?qū)ο到y(tǒng)進(jìn)行配置。系統(tǒng)將視頻壓縮和Web功能集成到一個體積很小的設(shè)備內(nèi),成本低、速度快,大大提高了圖像質(zhì)量和監(jiān)控效率,可以直接聯(lián)入以太網(wǎng),布控區(qū)域廣,環(huán)境適應(yīng)性強,性能穩(wěn)定可靠,無需專人管理,而且系統(tǒng)擴(kuò)展能力強,可組成非常復(fù)雜的監(jiān)控網(wǎng)絡(luò)。盡管視頻監(jiān)控技術(shù)在中國的發(fā)展迅速,但隨著社會化科技的進(jìn)步和人們對產(chǎn)品功能的更高需求使得視頻監(jiān)控技術(shù)仍有諸多瓶頸尚待“實質(zhì)性”突破。談的最多的就是網(wǎng)絡(luò)帶寬、圖像質(zhì)量、傳輸延時、軟件系統(tǒng)的兼容性和

21、產(chǎn)品價格等問題,在這些問題中有些已經(jīng)得到改進(jìn),但很多都還沒有取得實質(zhì)性的突破。很多國內(nèi)廠商一味追求某一特性的優(yōu)越而忽視或干脆放棄了其它方面的性能,如有些廠商在設(shè)計初期,為了能使傳輸延遲降到最低,在視頻編碼壓縮上加大了壓縮比率,盡管傳輸速度和延遲性能得到了很大提高,但監(jiān)控圖像的整體清晰度和圖像質(zhì)量大打折扣。如何在網(wǎng)絡(luò)延遲和圖像質(zhì)量之間尋求一個平衡點,成為國內(nèi)該領(lǐng)域發(fā)展需要解決的一個重大課題。- 6 -在網(wǎng)絡(luò)攝像機產(chǎn)品的研發(fā)中,國外的起步較早,市場上較為成熟的嵌入式Web網(wǎng)絡(luò)攝像機的產(chǎn)品也很多。如索尼公司最近在08年推出的SONY SNC-CS50P。它配備了10/100BASE-T的LAN端口,

22、采用1/3英寸的CCD鏡頭,分辨率可達(dá)到640×480,最高刷新幀率為30fps。圖像壓縮采用MPEG-4和H.264編碼方式,可以變更任意區(qū)域的壓縮率。SNC-CS50P無須通過個人電腦便可以直接接入網(wǎng)絡(luò)?？梢岳猛ㄓ玫腤eb瀏覽器瀏覽影視畫面。除了索尼公司的SNC-CS50P之外,還有松下KX-HCM280、三星SNC-L200P/SNC-L200WP、安特ANT-NWC10/50/100、瑞典AXIS的AXIS22xx系列等。這些產(chǎn)品一般均采用了MPEG-4、H.264編碼壓縮方式,以及支持多種網(wǎng)絡(luò)傳輸協(xié)議,產(chǎn)品性能普遍較好。在國內(nèi),ADSL寬帶,GPON/EPOG光纖寬帶在中

23、國很多城市順利開通,架構(gòu)起以IP為基礎(chǔ)的數(shù)據(jù)平臺,為網(wǎng)絡(luò)監(jiān)控提供了安全可靠的網(wǎng)絡(luò)環(huán)境。一些實力雄厚并且掌握了核心技術(shù)的民族企業(yè),在高端市場上牢牢地把持著自己的品牌地位,如華為、中興等。而與知名企業(yè)不同,部分本地品牌依托自己靈活的應(yīng)變能力以及良好的性價比,也在市場上獲得了不錯發(fā)展,并占領(lǐng)了不少的市場份額。如安訊士等,非常注重產(chǎn)品的社會功用,對產(chǎn)品的環(huán)保要求很高,要求給顧客提供的是高品質(zhì),低耗能的產(chǎn)品。另外大批的國內(nèi)廠商根據(jù)自身實力及市場情況,采取了OEM的形式,其中亞安公司就是憑借公司靈活的反映機制,極具競爭力的性價比,以及良好的售后服務(wù)贏得了市場,獲得了很大的發(fā)展。目前,中國國內(nèi)網(wǎng)絡(luò)攝像機和視

24、頻服務(wù)器的生產(chǎn)廠商非常多,除了一些已經(jīng)走出國門的大廠商外,一些非主打視頻監(jiān)控的電子制造廠商也進(jìn)入了該領(lǐng)域的競爭,如愛國者,天視通電子,趨勢電子,?？低?天創(chuàng)恒達(dá)等均已打入市場,并取得了非常滿意的成績。1.3本課題主要研究內(nèi)容及工作基于以上的分析,本文提出了基于TI公司DM642的嵌入式網(wǎng)絡(luò)攝像機系統(tǒng)設(shè)計方案。該方案主要有三大優(yōu)點:第一,系統(tǒng)只需一顆DM642芯片,加上簡單的外圍電路,即可完成圖像數(shù)據(jù)采集、編碼處理、網(wǎng)絡(luò)傳輸?shù)裙δ堋５诙?網(wǎng)絡(luò)攝像機需要嵌入式操作系統(tǒng),而TI公司為其DSP產(chǎn)品設(shè)計了一套較- 7 -好的小型嵌入式操作系統(tǒng)DSP/BIOS,省去了不必要的操作系統(tǒng)移植的過程。第三,D

25、M642具備強大的運算處理能力,能夠完成包括JPEG、MPEG-2、MPEG-4、H.263、H.264等圖像編碼處理,日后僅需通過編程改變軟件即可達(dá)到升級的目的,避免硬件資源的改動和重復(fù)設(shè)計。本文所提出的網(wǎng)絡(luò)攝像機系統(tǒng),是可以脫離PC獨立工作的。整個設(shè)計過程主要有以下幾個方面的工作:第一,掌握DSP開發(fā)板的工作原理、硬件結(jié)構(gòu)和CCS開發(fā)環(huán)境,參考開發(fā)板的設(shè)計搭建出本系統(tǒng)的總體架構(gòu)。第二,根據(jù)系統(tǒng)在速度等方面的要求,考慮到各個器件之間的兼容性,對硬件進(jìn)行合適的選擇和搭配,構(gòu)建出系統(tǒng)的硬件平臺。掌握各芯片的結(jié)構(gòu)和工作原理。第三,對設(shè)計好的系統(tǒng)進(jìn)行驅(qū)動程序的開發(fā)。在DSP的集成開發(fā)環(huán)境CCS下,使

26、用DSP/BIOS組件等工具進(jìn)行程序設(shè)計,完成設(shè)備的初始化,使視頻模塊、網(wǎng)絡(luò)傳輸模塊能夠在程序的驅(qū)動下正確的工作。第四,詳細(xì)分析了實時視頻傳輸?shù)脑u估標(biāo)準(zhǔn),以及如何實現(xiàn)高質(zhì)量傳輸?shù)乃惴ㄑ芯亢蛻?yīng)用內(nèi)容,包括碼率分配和帶寬估計。同時,對基于TCP/IP實現(xiàn)視頻流傳輸?shù)乃惴ㄒ沧隽嗽敱M的研究,即根據(jù)遠(yuǎn)端請求,在不同的傳輸任務(wù)中使用不同的傳輸方式以達(dá)到流媒體高效傳輸?shù)哪康?。第?設(shè)計帶有網(wǎng)絡(luò)通信功能的應(yīng)用程序,實現(xiàn)視頻數(shù)據(jù)在客戶端的呈現(xiàn)。第六,提高并完善系統(tǒng)的性能,優(yōu)化程序使軟硬件更好的結(jié)合,使有限的DSP芯片資源最大限度的發(fā)揮其作用。1.4本文結(jié)構(gòu)本文將對網(wǎng)絡(luò)攝像機視頻采集模塊和網(wǎng)絡(luò)傳輸模塊的硬件系統(tǒng)和

27、軟件設(shè)計做詳細(xì)的闡述。論文共分為五章。本文第1章是緒論部分,即引言。本章對DSP技術(shù)的發(fā)展、嵌入式Internet技術(shù)的發(fā)展、圖像編碼技術(shù)的發(fā)展以及視頻監(jiān)控技術(shù)的發(fā)展做了簡要的概括和分析。通過對相關(guān)領(lǐng)域研究進(jìn)展及成果的討論,發(fā)現(xiàn)了當(dāng)前網(wǎng)絡(luò)攝像機產(chǎn)品在圖像質(zhì)量和傳輸速率之間無法平衡的一個不足。由此本章提出了將DSP技術(shù)與TCP/IP協(xié)議結(jié)合起來的一種新型網(wǎng)絡(luò)攝像機產(chǎn)品。本文的第2章主要介紹了數(shù)字信號處理器的結(jié)構(gòu)及原理,以及重點講述了- 8 -本文將要采用的一款DSP芯片TMS320DM642。DM642具有完全的可編程性,能夠兼容多種多媒體視頻標(biāo)準(zhǔn),非常適合網(wǎng)絡(luò)攝像機系統(tǒng)的研發(fā)。最后介紹了如今比

28、較流行的一種視頻評估標(biāo)準(zhǔn)及其原理。本文的第3章主要分析了TCP/IP協(xié)議及其各層的核心協(xié)議。重點講述了實時視頻傳輸?shù)乃惴ǚ治龊头桨笇崿F(xiàn)。最后提出了一種不使用第三方流媒體協(xié)議而同樣達(dá)到流媒體傳輸?shù)乃惴▽崿F(xiàn)。本文的第4章重點闡述了系統(tǒng)各硬件模塊的設(shè)計。本章對電路設(shè)計中關(guān)鍵部分進(jìn)行了介紹和分析,針對網(wǎng)絡(luò)攝像機的帶寬估計和碼率分析做了理論上的深入分析。本文的第5章是對系統(tǒng)軟件部分設(shè)計的分析。包含兩個部分,首先是系統(tǒng)各功能模塊驅(qū)動程序的開發(fā)以及相應(yīng)模塊間通信的控制;其次是帶有網(wǎng)絡(luò)通信功能的客戶端軟件的開發(fā)設(shè)計。對主要的網(wǎng)絡(luò)傳輸模塊部分代碼做了碼率分析優(yōu)化,使得數(shù)據(jù)包在網(wǎng)絡(luò)中得到最大效率的傳輸。第3章傳輸

29、算法的實現(xiàn)、第4章和第5章是系統(tǒng)的主要部分,也是本文的工作重點。論文最后對本系統(tǒng)的設(shè)計進(jìn)行了總結(jié)并提出了改進(jìn)方向。- 9 -第2章DSP原理及視頻評估算法2.1DSP芯片特點及應(yīng)用為了實現(xiàn)高速的數(shù)字信號處理運算,DSP芯片一般都采用特殊的軟硬件結(jié)構(gòu),主要特點為以下幾個方面。第一,改進(jìn)的哈佛(Harvard結(jié)構(gòu)。哈佛結(jié)構(gòu)是不用于傳統(tǒng)的馮·諾依曼結(jié)構(gòu)的并行體系結(jié)構(gòu),其主要特點是程序存儲器和數(shù)據(jù)存儲器相互獨立編址,獨立訪問。與兩個存儲器相對應(yīng)的是系統(tǒng)中設(shè)置了程序總線和數(shù)據(jù)總線兩條總線,從而使數(shù)據(jù)的吞吐率提高了一倍。為了進(jìn)一步提高運行速度和靈活性,人們在基本的哈佛結(jié)構(gòu)的基礎(chǔ)上做了改進(jìn),一是允

30、許數(shù)據(jù)存放在程序存儲器中,并被算術(shù)運算指令直接使用,增強了芯片的靈活性;二是指令存儲器在高速緩沖器Cache中,當(dāng)執(zhí)行此指令時,不需要再從存儲器中讀取指令,節(jié)約了一個指令周期的時間。這種改進(jìn)被成為改進(jìn)的哈佛結(jié)構(gòu)。第二,多級的流水線操作。DSP芯片的指令系統(tǒng)廣泛采用流水線操作,一個任務(wù)被分解為若干個子任務(wù),各個任務(wù)可以在執(zhí)行時相互重疊,每條指令處于流水線上的不同階段。流水線操作與哈佛結(jié)構(gòu)相配合,減少了指令執(zhí)行時間,增加了處理器的吞吐量。不同的產(chǎn)品流水線的深度也各不相同,例如,第一代TMS320處理器采用2級流水線,其后幾代依次增加為3級、4級、6級,在TMS320C6000中深度達(dá)到了8級,這就

31、意味著可以同時并行8條指令。同時,指令并行運行的條件在不斷降低,指令的范圍也在不斷擴(kuò)大。如圖2-1所示5。第三,專用的硬件乘法器。在數(shù)字信號處理運算中,無論是濾波器還是DFT、FFT運算,都存在大量的乘法運算,乘法運算的速度是數(shù)字信號處理實現(xiàn)中的一個瓶頸問題。為此DSP芯片采用專用的硬件乘法器,使得乘法運算能夠在一個指令周期內(nèi)完成。如在TMS320C3x系列DSP芯片中,有一個硬件乘法器,在TMS320C6000系列中則有兩個硬件乘法器。- 10 - 圖2-1 多級的流水線Fig.2-1 Multiple Pipelines第四,特殊的DSP指令。DSP芯片的一個重要特點是有一套專門為數(shù)字信號

32、處理而設(shè)計的指令系統(tǒng)。加法、減法、比較、移位、最大/最小值、絕對值運算以及延遲操作等都可以由一系列特殊指令實現(xiàn),極大的提高了性能和效率。例如,MAC指令是連乘加指令,可以在單周期內(nèi)同時完成乘法和加法運算;RPTS和RPTB指令是硬件判斷循環(huán)邊界條件,可以避免破壞流水線。第五,快速的指令周期。哈佛結(jié)構(gòu)、流水線操作、專用的硬件乘法器、特殊的DSP指令再加上集成電路的優(yōu)化設(shè)計,可使DSP芯片的指令周期在200ns以下。TMS320系列處理器的指令周期已經(jīng)從第一代的200ns降低至現(xiàn)在的5ns以下。快速的指令周期使得DSP芯片能夠?qū)崿F(xiàn)許多高端應(yīng)用。隨著微電子技術(shù)的發(fā)展,工作頻率還將繼續(xù)提高,指令周期將

33、進(jìn)一步縮短。TI、ADI和Motorola公司的DSP芯片是目前國內(nèi)應(yīng)用的主流芯片。各公司主要芯片產(chǎn)品如表2-1所示6。本系統(tǒng)要求圖像處理速度達(dá)到每秒20幀以上,即要求實時圖像處理系統(tǒng)必須在50ms內(nèi)完成對一幀圖像的運算處理,圖像采集模塊的輸出為為320×240像素。為達(dá)到該處理速度,綜合考慮以上各因素,采用價格較便宜、功耗較低的定點DSP芯片即可。由于ADI公司的開發(fā)套件較貴,而且芯片開發(fā)工具包相對復(fù)雜,因此本系統(tǒng)選用了TI公司的TMS320DM642芯片。- 11 -表2-1 典型DSP芯片產(chǎn)品Table 2-1 Typical Products of DSP-Chip 2.1.

34、3.1DM642體系結(jié)構(gòu)TMS320DM642是Tl公司推出的TMS320C64X系列芯片中的一款高性能數(shù)字多媒體處理DSP芯片,基于C64X內(nèi)核,具有擴(kuò)展的高級甚長指令字(VelociTI體系結(jié)構(gòu),具有64個32位通用寄存器,8個獨立計算功能單元(2個乘法器,6個算術(shù)邏輯單元可以并行運行,因此多條指令可同時執(zhí)行?？晒ぷ髟?00MHz時鐘速率,每個指令周期可并行運行8條32位指令,因此可達(dá)到4800MIPS的峰值計算速度。DM642芯片結(jié)構(gòu)如圖2-27。- 12 - 圖2-2 DM642芯片結(jié)構(gòu)Fig.2-2 Chip Structure of DM642DM642采用兩級緩存結(jié)構(gòu),第一級包括

35、相互獨立的L1P(16K字節(jié)和L1D(16K字節(jié),只能作為高速緩存使用。第二級L2(256K字節(jié)是一個統(tǒng)一的程序/數(shù)據(jù)空間,可以整體作為SRAM映射到存儲空間,也可以整體作為第二級Cache,或是二者按比例的一種組合來使用。DM642具有64個獨立通道的EDMA(擴(kuò)展的直接存儲器訪問控制器,負(fù)責(zé)片內(nèi)L2與其他外設(shè)之間的數(shù)據(jù)傳輸。容量較大的兩級緩存和EDMA通道是DM642高性能的體現(xiàn)之一,若能合理使用和管理,將能大幅度提高程序的運行性能。DM642芯片外設(shè)包括三個可以配置的視頻口,一個多通道音頻串行端口(McASP,兩個多通道串口(McBSP,64bit的外部存儲單元接口EMIF, 66MHz

36、32bit,3.3V的PCI主/從接口,10/100Mbps以太網(wǎng)接口(EMAC及通用I/O端口(GPIO等外圍接口。CPU只對Ll的數(shù)據(jù)進(jìn)行訪問,程序代碼和數(shù)據(jù)必須經(jīng)過外部存儲器到- 13 -L2,L2到Ll的逐級搬移能被CPU訪問。L2存儲單元和外部設(shè)備的數(shù)據(jù)交換由功能強大的增強型DMA控制器控制,因此在CPU處理片內(nèi)的數(shù)據(jù)時可以通過EDMA把片外的數(shù)據(jù)倒入片內(nèi),達(dá)到同步工作以提高效率。由于內(nèi)部存儲器的工作頻率與DSP內(nèi)部時鐘同頻,而遠(yuǎn)遠(yuǎn)高于片外存儲器的工作頻率,這就解決了DSP外部時鐘頻率小于內(nèi)部時鐘頻率的問題。DM642圖像視頻接口DM642擁有三個可配置的視頻端口設(shè)備(

37、VP0、VP1、VP2。這些視頻端口設(shè)備提供了與一般視頻編解碼設(shè)備交互的界面,設(shè)備支持多種視頻標(biāo)準(zhǔn)和方案(比如CCIR601、ITU.BT656、BT.1120、SMPTE125M、SMPTE260M、SMPTE274M、SMPTE296M。這三個視頻端口是可配置的并且支持圖像捕獲或圖像顯示模式。每一個視頻端口有兩個通道: A和B,另有一個5120字節(jié)的FIFO顯示緩存可以分給兩個通道使用。下面是這兩種模式的主要技術(shù)性能8。一、捕獲模式的技術(shù)性能1、捕獲速率80MHz;2、兩路數(shù)字視頻輸入,格式為YUV422,有8bit或者10bit精度;3、一路Y/C16或20bit數(shù)字視頻輸入,格式為YU

38、V422,支持SMPTE260M,SMPTE274M,SMPTE296M,ITU.BT1120等標(biāo)準(zhǔn)4、YUV422到Y(jié)UV420變換,以及在8bit YUV422模式下的亞采樣。二、顯示模式的技術(shù)性能1、顯示速率110MHz;2、一路連續(xù)視頻輸出,輸出格式為YUV422 8bit或10bit精度;3、一路連續(xù)Y/C 16或20bit數(shù)字視頻輸出,格式為YUV422;4、YUV420到Y(jié)UV422變換,在8bitYUV422模式下,輸出2倍插值;5.、能產(chǎn)生行同步、場同步和消隱信號。DM642以太網(wǎng)外設(shè)網(wǎng)絡(luò)傳輸模塊的網(wǎng)絡(luò)接口由EMAC(10/100 Mb/s Ethernet M

39、AC與MDIO(Management Data Input/Output兩部分組成,并主要用來支持物理層的網(wǎng)絡(luò)器件(PHY與DM642的連接。其中EMAC控制PHY與DM642之間的數(shù)據(jù)包的交換,MDIO控制PHY的配置與狀態(tài)的檢測。原理如圖2-3所示9。- 14 - - 15 -圖2-3 PHY 設(shè)備的連接 Fig.2-3 Equipment Connection of PHY2.2 實時傳輸視頻的評估標(biāo)準(zhǔn)通過將重建的視頻信號與源信號進(jìn)行比較,可求得失真度。失真度的定義可以用絕對誤差總和(SAD 、絕對誤差均值(MAD 、均方誤差(MSE 等來定義,較常用的MAD ,定義見式(2-1 10。

40、256',1(256iji ji j MM D Mi MAD Mi =-= (2-1式(2-1是對宏塊M i 失真度的定義,式中M ij 和M ij '分別是源圖像中的數(shù)值和在編碼器重建后的圖像數(shù)值。幀或者視頻對象的失真度可以取各相應(yīng)宏塊失真度的平均值。由于在視頻監(jiān)控中,前景有時比背景圖像重要,因此可以采用式(2-2定義幀的失真度11。1(Njijj D VO D fi N= (2-2- 16 -式中:j 是視頻對象的權(quán)值;N 是幀內(nèi)視頻對象的數(shù)目。由于式(2-1中沒有考慮新到傳輸中可能出現(xiàn)的差錯以及解碼器彌補差錯的各種措施,因此根據(jù)改失真度不能獲取全局的最優(yōu)編碼,如果將式(2

41、-1中的M ij '用解碼器的重建數(shù)值M ij 代替,采用這種全局失真度雖然增加了計算量,但是編碼結(jié)果會更加優(yōu)化。宏塊峰值信噪比定義如式(2-3所示12。2255(10log(PSNR Mi D Mi = (2-3 和失真度一樣,幀的視頻對象的PSNR 可以取各相應(yīng)宏塊PSNR 的均值,考慮到不同視頻對象重要性不同,幀的PSNR 也可以取各視頻對象PSNR 值的加權(quán)平均。在視頻處理中通常對宏塊分別進(jìn)行編碼,因此在宏塊與宏塊之間可能出現(xiàn)明顯的邊界效應(yīng),從而影響視頻質(zhì)量。為了定義塊效應(yīng)程度B ,首先定義邊界差值V 1和V 2,如式(2-4和式(2-5 13。''1,1,1,

42、(x y x y x y x y x y V M M M M +=- (2-4 ''2,1,1(x y x y x y x y x y V M M M M +=- (2-5 式中V 1為水平方向上的邊界差值,只對宏塊左右邊界的像素計算,V 2為豎直方向上的編輯誒差值,只對宏塊上下邊界的像素計算,塊效應(yīng)B 定義為宏塊中各邊界差值的均值。實時傳輸?shù)囊曨l應(yīng)當(dāng)盡可能的利用可用帶寬,以獲得最佳的視頻質(zhì)量,因此帶寬利用率也可以用來評價視頻的實時傳輸14。傳輸時間T 內(nèi)的帶寬利用率定義見式(2-6 。001(t T T t t MAX R t U dt T R t += (2-6式中RMAX

43、(t是t 時刻網(wǎng)絡(luò)最大可用帶寬;R(t是t 時刻視頻傳輸碼率。2.3本章小結(jié)本章介紹了數(shù)字信號處理器的特點,分析了DSP的性能比較,闡述了本系統(tǒng)選擇DM642的依據(jù)。然后針對TMS320DM642處理器CPU體系結(jié)構(gòu)與特點,重點介紹了DM642在運算能力和多媒體處理方面的出色性能。其豐富的外圍接口是構(gòu)成多媒體通信系統(tǒng)的良好平臺。DM642接近于一個多媒體嵌入式系統(tǒng)的單芯片硬件平臺,并且具有完全的可編程性,能夠兼容多種多媒體音視頻標(biāo)準(zhǔn),非常適合網(wǎng)絡(luò)攝像機系統(tǒng)的研發(fā)。通過本章的敘述,對今后開發(fā)DSP產(chǎn)品打下理論基礎(chǔ)。本章最后研究了通用的視頻評估標(biāo)準(zhǔn)及相應(yīng)的原理和算法,這對系統(tǒng)的整體運行評估起到了決

44、定性的作用。- 17 - - 18 -第3章 數(shù)據(jù)網(wǎng)絡(luò)傳輸原理3.1 OSI 參考模型結(jié)構(gòu)隨著遠(yuǎn)程計算需求的不斷增加,人們開發(fā)出多種廣域網(wǎng)絡(luò)協(xié)議,以滿足不同計算方式下遠(yuǎn)程連接的需求。為了更好劃分網(wǎng)絡(luò)結(jié)構(gòu),國際標(biāo)準(zhǔn)化組織 ISO 提出了開放系統(tǒng)互連參考模型,如圖3-1所示15。比特流傳輸物理層控制地址和最佳路由端到端連接協(xié)調(diào)連接數(shù)據(jù)描述協(xié)議傳輸圖3-1 OSI 七層模型及其功能Fig.3-1 Function of OSI Seven-Layer Model協(xié)議分層大大簡化了網(wǎng)絡(luò)協(xié)議的復(fù)雜性,這實際也是自頂向下、逐步細(xì)化的程序設(shè)計方法的很好的應(yīng)用。網(wǎng)絡(luò)協(xié)議按功能組織成一系列“層”,每一層建筑在它

45、的下層之上。分成的層數(shù),每一層的名字、功能,都可以不一樣,但是每一層的目的都是為上層提供一定的服務(wù),屏蔽低層的細(xì)節(jié)。物理層涉及到通信在信道上傳輸?shù)脑急忍亓?它實現(xiàn)傳輸數(shù)據(jù)所需要的機械、電氣、功能性及過程等手段。數(shù)據(jù)鏈路層的主要任務(wù)是提供對物理層的控制,檢測并糾正可能出現(xiàn)的錯誤,使之對網(wǎng)絡(luò)層顯現(xiàn)一條無錯線路。網(wǎng)絡(luò)層檢查網(wǎng)絡(luò)拓?fù)?以決定傳輸報文的最佳路由。傳輸層的基本功能是從會話層接受數(shù)據(jù),并且在必要的時候把它分成較小的單元,傳遞給網(wǎng)絡(luò)層。會話層允許不同機器上的用戶建立會話關(guān)系,協(xié)調(diào)不同應(yīng)用程序之間的通信狀態(tài)。表示層關(guān)注于所傳輸?shù)男畔⒌恼Z法和意義。應(yīng)用層包含大量人們普遍需要的協(xié)議,并且具有文件傳

46、輸功能16。在分層模型中,對等是一個很重要的概念,因為只有對等層才能相互通信,一方在某層上的協(xié)議是什么,對方在同一層次上也必須是什么協(xié)議。所以如果兩個網(wǎng)絡(luò)在物理層就相同,使用中繼器就可以連起來;如果兩個網(wǎng)絡(luò)物理層不同,鏈路層相同,使用橋接器可以連起來;如果兩個網(wǎng)絡(luò)物理層、鏈路層都不同,而網(wǎng)絡(luò)層相同,使用路由器可以互連;如果兩個網(wǎng)絡(luò)協(xié)議完全不同,使用協(xié)議轉(zhuǎn)換器(網(wǎng)關(guān)可以互連。3.2TCP/IP協(xié)議與OSI參考模型不同,TCP/IP模型更側(cè)重于互聯(lián)設(shè)備間的數(shù)據(jù)傳送,而不是嚴(yán)格的功能層次劃分。這為具體實現(xiàn)協(xié)議留下很大的余地。因此TCP/IP 成為了互聯(lián)網(wǎng)絡(luò)協(xié)議的市場標(biāo)準(zhǔn)。TCP/IP協(xié)議的體系結(jié)構(gòu)分

47、為四層,這四層由高到低分別是:應(yīng)用層、傳輸層、網(wǎng)絡(luò)層和鏈路層。如圖3-2所示17。 圖3-2 OSI參考模型和TCP/IP參考模型比較Fig.3-2 Reference Model of TCP/IP and Its Comparison with that of OSI- 19 -鏈路層在TCP/IP協(xié)議棧的最低層,也稱為數(shù)據(jù)鏈路層或網(wǎng)絡(luò)接口層,通常包括操作系統(tǒng)中的設(shè)備驅(qū)動程序和計算機中對應(yīng)的網(wǎng)絡(luò)接口卡。鏈路層的功能是把接收到的網(wǎng)絡(luò)層數(shù)據(jù)報(也稱IP數(shù)據(jù)報通過該層的物理接口發(fā)送到傳輸介質(zhì)上,或從物理網(wǎng)絡(luò)上接收數(shù)據(jù)幀,抽出IP數(shù)據(jù)報并交給IP層。網(wǎng)絡(luò)層也稱為互聯(lián)網(wǎng)層,由于該層的主要協(xié)議是IP協(xié)

48、議,因而也可簡稱為IP層。它是TCP/IP協(xié)議棧中最重要的一層,主要功能是可以把源主機上的分組發(fā)送到互聯(lián)網(wǎng)中的任何一臺目標(biāo)主機上。傳輸層提供應(yīng)用程序之間的通信,也叫端到端(End to End的通信。在TCP/IP協(xié)議族中傳輸層包含兩個不同的傳輸協(xié)議:一個是TCP(傳輸控制協(xié)議;另一個是UDP(用戶數(shù)據(jù)報協(xié)議。應(yīng)用層向使用網(wǎng)絡(luò)的用戶提供特定的、常用的應(yīng)用程序服務(wù),如遠(yuǎn)程登錄(Telnet、文件傳輸(FTP、超文本傳輸(HTTP和電子郵件(SMTP等。要注意有些應(yīng)用層協(xié)議是基于TCP協(xié)議的(如FTP和HTTP等,有些應(yīng)用層協(xié)議是基于UDP協(xié)議的(如SNMP等。TCP/IP協(xié)議分為四層結(jié)構(gòu),這四層

49、結(jié)構(gòu)中有兩個重要的邊界:一個是將操作系統(tǒng)與應(yīng)用程序分開的邊界,另一個是將高層互聯(lián)網(wǎng)地址與低層物理網(wǎng)卡地址分開的邊界,如圖3-3所示。 圖3-3 TCP/IP協(xié)議的兩個邊界Fig.3-3 Two Boundaries of TCP/IP Protocol操作系統(tǒng)邊界的上面是應(yīng)用層,應(yīng)用層處理的是用戶應(yīng)用程序(用戶進(jìn)程的細(xì)節(jié)問題,提供面向用戶的服務(wù)。地址邊界的上層為網(wǎng)絡(luò)層,網(wǎng)絡(luò)層用于對不同的網(wǎng)絡(luò)進(jìn)行互聯(lián),連接在一起的所有網(wǎng)絡(luò)為了能互相尋址,要使用統(tǒng)一的互聯(lián)網(wǎng)地址(IP地址。- 20 - 應(yīng)用層傳輸層網(wǎng)絡(luò)層鏈路層物理傳輸介質(zhì)圖3-4 IP協(xié)議在TCP/IP協(xié)議族的地位Fig.3-4 Position

50、 of IP Protocol in TCP/IP Protocol Family網(wǎng)絡(luò)互聯(lián)存在兩種方式,即面向連接的(Connect-oriented和無連接的(Connectionless19,20。面向連接的方式要求在通信的源端和目標(biāo)端之間建立一條邏輯通路,一般稱為虛電路(Virtual Circuit,源端和目標(biāo)端之間通信時的所有信息都通過該通路傳輸。這種方式看似簡單,易于實現(xiàn),但其最大的缺點是如果不能保證虛電路中沿途經(jīng)過的節(jié)點都能可靠地發(fā)送數(shù)據(jù),就可能使網(wǎng)絡(luò)崩潰。由于互聯(lián)網(wǎng)所連網(wǎng)絡(luò)的復(fù)雜性和多樣性,因而很難保證所有節(jié)點都能可靠地發(fā)送數(shù)據(jù)。無連接的方式并不在源端和目標(biāo)端之間建立一條邏輯通

51、路,而送到網(wǎng)絡(luò)中的每個分組帶有完整的目標(biāo)主機地址,收到分組的節(jié)點(主要是路由器根據(jù)目標(biāo)地址和當(dāng)前網(wǎng)絡(luò)狀況(如通信量等,選擇一條合適的線路把分組發(fā)送到- 21 -接近目標(biāo)端的下一個節(jié)點,通過多個節(jié)點的轉(zhuǎn)發(fā),最終把分組送達(dá)目標(biāo)節(jié)點。使用這種方式時,由源端順序送出的各分組,由于每個分組在網(wǎng)絡(luò)中可能經(jīng)過不同的路徑到達(dá)目標(biāo)端,所以先發(fā)出的分組不一定就先到達(dá)目標(biāo)端,另外,也不能保證每個分組都能可靠地到達(dá)目標(biāo)端。無連接方式的優(yōu)點是顯而易見的,源端和目標(biāo)端之間的通信可以通過多條通路進(jìn)行,而不依賴于某一條通路,因此可靠性和通信效率高。另外,這種方式實現(xiàn)起來也比較簡單,適合于異構(gòu)網(wǎng)絡(luò)的互聯(lián),因此被很多網(wǎng)絡(luò)廠商所使

52、用。Internet使用的就是這種無連接的方式,由IP協(xié)議來實現(xiàn)。 2端到端點到點點到點點到點圖3-5 傳輸層端到端通信Fig.3-5 Port-to-Port Communication in Transport Layer端到端通信是建立在點到點通信基礎(chǔ)之上的,它是比網(wǎng)絡(luò)互聯(lián)層通信更高一級的通信方式,完成應(yīng)用程序之間的通信。端到端通信由傳輸層來實現(xiàn)的。- 22 -下面從建立連接、關(guān)閉連接和重發(fā)機制三個方面進(jìn)行分析23,24。第一,建立連接。TCP使用“三次握手”(3-way Handshake法來建立一條連接。所謂三次握手,就是指在建立一條連接時通信雙方要交換三次報文。第二,關(guān)閉連接。由于

53、TCP是一個全雙工協(xié)議,因此在通信過程中兩臺主機都可以獨立地發(fā)送數(shù)據(jù),完成數(shù)據(jù)發(fā)送的任何一方可以提出關(guān)閉連接的請求。關(guān)閉連接時,由于在每個傳輸方向既要發(fā)送一個關(guān)閉連接的報文段,又要接收對方的確認(rèn)報文段,因此關(guān)閉一個連接要經(jīng)過4次握手。連接建立和關(guān)閉的過程如圖3-6所示25,該圖是通信雙方正常工作時的情況。 第一次握手第三次握手第二次握手發(fā)送SYN接收SYN發(fā)送SYN+ACK 接收SYN+ACK發(fā)送ACK接收ACK 第一次握手第四次握手第二次握手 發(fā)送FIN接收FIN 接收ACK接收SYN接收ACK發(fā)送ACK第三次握手發(fā)送SYN 發(fā)送ACK圖3-6 TCP連接的建立與關(guān)閉Fig.3-6 TCP

54、C onnections Establishment and Closing- 23 -第三,重發(fā)機制。TCP協(xié)議提供的是可靠的運輸層。接收方對收到的所有數(shù)據(jù)要進(jìn)行確認(rèn),TCP的確認(rèn)是對收到的字節(jié)流進(jìn)行累計確認(rèn)。發(fā)送TCP報文段時,頭部的“確認(rèn)號”就指出該端希望接收的下一個字節(jié)的序號,其含義是在此之前的所有數(shù)據(jù)都已經(jīng)正確收到,請發(fā)送從確認(rèn)號開始的數(shù)據(jù)。表3-1 TCP和UDP的比較Table 3-1 Comparison between TCP and UDP 實時傳輸協(xié)議RTP和實時傳輸控制協(xié)議RCTP RTP(Real-time Transport Protocol是用于In

55、ternet上針對多媒體數(shù)據(jù)流的一種傳輸協(xié)議。RTP 被定義為在一對一或一對多的傳輸情況下工作,其目的是提供時間信息和實現(xiàn)流同步。RTP通常使用UDP來傳送數(shù)據(jù),但RTP也可以在TCP或ATM等其- 24 -他協(xié)議之上工作。當(dāng)應(yīng)用程序開始一個RTP會話時將使用兩個端口:一個給RTP,一個給RTCP。RTP本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機制,也不提供流量控制或擁塞控制,它依靠RTCP提供這些服務(wù)。通常RTP算法并不作為一個獨立的網(wǎng)絡(luò)層來實現(xiàn),而是作為應(yīng)用程序代碼的一部分。實時傳輸控制協(xié)議RTCP。RTCP(Real-time Transport Control Protocol和RT

56、P一起提供流量控制和擁塞控制服務(wù)。在RTP會話期間,各參與者周期性地傳送RTCP包。RTCP包中含有已發(fā)送的數(shù)據(jù)包的數(shù)量、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計資料,因此,服務(wù)器可以利用這些信息動態(tài)地改變傳輸速率,甚至改變有效載荷類型。RTP和RTCP配合使用,它們能以有效的反饋和最小的開銷使傳輸效率最佳化,因而特別適合傳送網(wǎng)上的實時數(shù)據(jù)27,28。實時流協(xié)議RTSP 實時流協(xié)議RTSP(Real Time Streaming Protocol是由Real Networks和Netscape共同提出的,該協(xié)議定義了一對多應(yīng)用程序如何有效地通過IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)。RTSP在體系結(jié)構(gòu)上位于RTP和RTCP 之上,它使用TCP或RTP完成數(shù)據(jù)傳輸。HTTP與RTSP相比,HTTP傳送HTML,而RTP傳送的是多媒體數(shù)據(jù)。HTTP請求由客戶機發(fā)出,服務(wù)器作出響應(yīng);使用RTSP時,客戶機和服務(wù)器都可以發(fā)出請求,即RTSP可以是雙向的29