H.264幀內(nèi)預(yù)測算法研究

1、摘要 隨著近年來計算機運行速度、大規(guī)模集成電路技術(shù)的顯著提高，多媒體視頻壓縮技術(shù)得到迅速的發(fā)展。在過去的十多年里，國際標(biāo)準(zhǔn)化組織（iso），國際電信聯(lián)盟（itu）相應(yīng)制定了一系列的國際視頻壓縮編碼的標(biāo)準(zhǔn)，包括mpegx系列，h.26x系列。這些標(biāo)準(zhǔn)已經(jīng)應(yīng)用到了dvd，個人視頻電話，商務(wù)視頻會議，衛(wèi)星，廣播，數(shù)字電視等很多方面。其中，h.264/avc中包含了眾多先進的視頻壓縮編碼技術(shù)和思想，并將它們很好的結(jié)合起來，相比過去的視頻編碼標(biāo)準(zhǔn)，它在編碼效率和網(wǎng)絡(luò)友好性方面有了很明顯的提高，成為新一代的國際視頻壓縮編碼標(biāo)準(zhǔn)。 h.264 標(biāo)準(zhǔn)是由 itu-t 的視頻編碼專家組（vceg）和 iso/i

2、ec 的活動圖像專家組共同成立的聯(lián)合視頻小組（jvt）于 2003 年 3 月公布的。h.264 是當(dāng)下最新的國際視頻編碼標(biāo)準(zhǔn)，也稱 mpeg4 的第 10 部分，即高級視頻編碼（avc）。但是，該編碼標(biāo)準(zhǔn)也存在不足，主要是由于h.264的高壓縮編碼效率卻使得編碼器的計算復(fù)雜度急劇增加，其編碼復(fù)雜度更是比mpeg-4標(biāo)準(zhǔn)增加了10倍之多。所以必須對h.264壓縮編碼算法進行優(yōu)化以提高其編碼效率，尤其是在視頻傳輸?shù)膶嶋H應(yīng)用中。 本論文首先回顧了視頻壓縮技術(shù)的背景知識，簡要介紹了當(dāng)前視頻壓縮國際標(biāo)準(zhǔn)，國內(nèi)外研究現(xiàn)狀。接著，圍繞h.264標(biāo)準(zhǔn)，簡要介紹了h264編碼標(biāo)準(zhǔn)的概念，視頻編碼特點，關(guān)鍵技術(shù)

3、和主要性能。尤其是對h264的主要技術(shù)做了較詳細的描述，包括幀內(nèi)預(yù)測，幀間預(yù)測，整數(shù)變換及量化，熵編碼等。然后又詳細分析了h264幀內(nèi)預(yù)測算法的復(fù)雜度和性能。最后，本文所采用的是基于全搜索算法的幀內(nèi)預(yù)測模式選擇，分別對亮度塊和色度塊進行模式預(yù)測和選擇，掃描每一種模式。包括4種16*16亮度塊模式和9種4*4亮度塊模式，4種8*8色度塊模式，計算每一種模式的代價值，取最小代價值為最佳模式，實現(xiàn)完整的幀內(nèi)預(yù)測模式選擇。在算法性能分析上，主要考慮的是算法程序的可編譯性和算法的峰值信噪比（psnr）值，對該算法的復(fù)雜度進行整體概況分析。關(guān)鍵詞:視頻壓縮；h.264；幀內(nèi)預(yù)測；算法優(yōu)化significa

4、ntly increased computer operating speed in recent years , large - scale integrated circuit technology , multimedia video compression technology has been developed rapidly . in the past 12 years , the international organization for standardization ( iso ) , the international telecommunication union (

5、 itu ) have formulated a series of international video coding standard , including mpegx series h.26x series . these standards have been applied to the dvd, personal video telephony , business video conferencing , satellite , radio , digital tv , and many other aspects . among them , h.264/avc conta

6、ins many advanced video compression coding technology and ideas , and they combine well , compared to the past video coding standard, the coding efficiency and network friendliness obvious the improvement of a new generation of international video coding standard .the h.264 standard is jointly estab

7、lished by the itu-t video coding experts group ( vceg ) and the iso / iec moving picture experts group joint video team ( jvt ) was published in march 2003 . h.264 is the moment of the latest international video coding standard , also known as mpeg4 part 10 advanced video coding ( avc ) . however, t

8、he coding standard deficiencies , mainly due to the sharp increase h.264 high compression coding efficiency but makes the computational complexity of the encoder and its coding complexity gengshi bi mpeg-4 standard was increased 10 times as much . h.264 compression coding algorithm must be optimized

9、 in order to improve the coding efficiency , especially in the practical application of the video transmission .this paper first reviews the background of the video compression technology , a brief introduction video compression with international standards , research status . then, around the h.264

10、 standard , a brief introduction of h. 264 coding standard concept of video encoding features , the key technology and performance. h. 264 main technologies do a more detailed description, including the intra prediction, inter prediction , integer transform and quantization , entropy coding . then a

11、 detailed analysis of h. 264 intra prediction algorithm complexity and performance . finally, as used herein , is selected based on the intra prediction mode of the full search algorithm , respectively, for the luminance blocks and chrominance block mode prediction and selection, scanning each mode

12、. 4 16 * 16 luma block mode and 9 4 * 4 luma block mode , 4 of 8 * 8 chroma block mode to calculate each mode on behalf of the value to take minimum cost value of the best mode , to achieve a complete the intra- prediction mode selection .in the analysis of the performance of the algorithm , the mai

13、n consideration is that the algorithm can be compiled and algorithms of the peak signal - to - noise ratio ( psnr ) value ,the overall profile analysis of the complexity of the algorithm .keywords: video compression ; h.264 ; intra prediction ; algorithm optimization1 緒論 1.1 課題背景當(dāng)今世界信息技術(shù)不斷發(fā)展，視頻壓縮技術(shù)的

14、發(fā)展也逐漸成熟。本文在綜述視頻編碼技術(shù)的基本原理，應(yīng)用領(lǐng)域的基礎(chǔ)上，系統(tǒng)闡述了常用視頻壓縮的編碼方法及這些壓縮方法綜合運用形成的主要國際壓縮標(biāo)準(zhǔn)。尤其著重介紹了h.264幀內(nèi)預(yù)測的相關(guān)原理，并對視頻壓縮技術(shù)的進一步發(fā)展提出了相應(yīng)的建議。1.2 視頻壓縮基本原理和重要性 視頻信息雖然具有直觀性、確定性等優(yōu)越特點, 但要傳大量的視頻信號則需要增加通信干線的傳輸率，擴大存儲器容量，較高的網(wǎng)絡(luò)帶寬，這顯然難以實現(xiàn)的，不利于視頻技術(shù)的快速發(fā)展。所以，視頻壓縮技術(shù)就是現(xiàn)今最行之有效的方法。通過數(shù)據(jù)壓縮，以壓縮形式存儲、傳輸，即能把數(shù)據(jù)信息量壓縮下來，節(jié)約了存儲空間, 又提高了通信干線的傳輸效率, 同時也可

15、使計算機進行實時的音頻、視頻信息處理, 以確保能夠流暢的播放出高質(zhì)量的視頻節(jié)目。因此，視頻信號在傳輸之前要進行視頻編碼壓縮。 對于幀的大小、幀速率、視頻質(zhì)量、位速率以及所采用的壓縮標(biāo)準(zhǔn)等，視頻編碼在不同的應(yīng)用場合有不同的需求。目前，基于內(nèi)容的編碼和基于波形的編碼是最經(jīng)常采用的模式。基于內(nèi)容的編碼首先把視頻幀分成對應(yīng)于不同物體的區(qū)域, 然后分別對其進行編碼。即對不同物體的形狀、紋理和運動進行編碼。例如，利用二維輪廓描述物體的形狀，紋理則用顏色的波形進行描述，利用運動矢量描述其運動狀態(tài);基于波形的編碼采用了把預(yù)測編碼和變換編碼組合起來的基于塊的混合編碼方法，采用混合編碼方法時, 首先把一幅圖像分成

16、固定大小塊, 然后對塊進行壓縮編碼處理，減少了編碼的復(fù)雜性?？傊覀儾捎貌煌囊曨l編碼方式就能夠把大量的信息源數(shù)據(jù)壓縮制作成各種不同格式的視頻文件，方便我們的傳輸應(yīng)用。1.3 常用的視頻編碼標(biāo)準(zhǔn)1.3.1 mpeg標(biāo)準(zhǔn)1998年，mpeg是由活動圖像專家組（moving picture exports group）編寫。由于mpeg2的出色性能表現(xiàn)，已能適用于hdtv，使得原打算為hdtv設(shè)計的mpeg3，還沒出世就被拋棄了。所以現(xiàn)存只有三個版本：mpeg1，mpeg2，mpeg4。而mpeg-7和mpeg-21都在研究中。如果說，mpeg1“文件小，但質(zhì)量差”；而mpeg2則“質(zhì)量好，但更

17、占空間”的話，那么mpeg4則很好的結(jié)合了前兩者的優(yōu)點。 mpeg編碼壓縮主要基于兩方面因素：一是人眼的視覺特性，二是圖像數(shù)據(jù)本身的冗余度。mpeg-1是mpeg組織制定的第一個視頻和音頻有損壓縮標(biāo)準(zhǔn)。視頻壓縮算法于1990年定義完成。1992年底，mpeg-1正式被批準(zhǔn)成為國際標(biāo)準(zhǔn)。mpeg-1是為cd光碟介質(zhì)定制的的視頻和音頻壓縮格式。 mpeg1為速率1.5mbps的數(shù)字聲像信息的存儲而制定的。常用于能夠提供錄像質(zhì)量的視頻節(jié)目的光盤存儲系統(tǒng)，圖像采用 sif格式，圖像分辨率為 352288 像素。mpeg1圖像壓縮率極高，但壓縮圖像質(zhì)量差。mpeg1由于技術(shù)成熟，是目前dvr市場的主流技

18、術(shù)，但兩者的致命弱點就是硬盤耗費量大，且不能同時滿足保安與實時錄像場合的需要 mpeg2是mpeg1的升級版本，于1994年發(fā)布。其發(fā)展分為三個階段：第一階段是對mpeg-1增加了低采樣頻率，有16khz，22.05khz，以及24khz。第二階段是對mpeg-1實施了向后兼容的多聲道擴展，將其稱為mpeg-2 bc。支持單聲道，雙聲道，多聲道等編碼。并附加“低頻加重”擴展聲道，從而達到五聲道編碼。第三階段是向后不兼容，將其稱為mpeg-2 aac先進音頻編碼。采樣頻率可以低至8khz；而高至96khz范圍內(nèi)的1-48個通道可選的高音質(zhì)音頻編碼。它克服并解決了 mpeg1 不能滿足日益增長的多

19、媒體技術(shù)、數(shù)字電視技術(shù)、多媒體分辨率和傳輸率等方面的技術(shù)要求上的缺陷，即能在很寬范圍內(nèi)對不同分辨率和不同輸出比特率的圖像信號有效地進行編碼，支持的帶寬范圍從2mbps 到超過20mbps。mpeg2 標(biāo)準(zhǔn)廣泛應(yīng)用于多媒體、視頻會議/可視電話、數(shù)字電視、高清晰度電視（hdtv）、廣播、通信和網(wǎng)絡(luò)等領(lǐng)域。 mpeg4簡稱mp4，于1998年推出。mpeg4標(biāo)準(zhǔn)的制定是為了支持傳統(tǒng)的視頻應(yīng)用并且滿足新型多媒體應(yīng)用的需求，其應(yīng)用目標(biāo)是針對窄帶寬傳輸、高畫質(zhì)壓縮、交互性操作。其主要優(yōu)勢在于針對低通信帶寬設(shè)計, 使低碼率的視頻傳輸成為可能。mpeg4的圖像清晰度高，接近于dvd的圖像質(zhì)量，遠優(yōu)于之前的mp

20、eg1，mpeg2，所以該標(biāo)準(zhǔn)廣泛應(yīng)用于數(shù)字電視、實時多媒體監(jiān)控、低比特率下的移動多媒體通信、網(wǎng)絡(luò)視頻流與可視游戲、網(wǎng)絡(luò)會議、交互多媒體應(yīng)用、演播電視等。mpeg7于1998年推出，mpeg-7標(biāo)準(zhǔn)被稱為“多媒體內(nèi)容描述接口”，為各類多媒體信息提供一種標(biāo)準(zhǔn)化的描述。mpeg-7的目標(biāo)是支持多種音頻和視覺的描述，包括自由文本、n維時空結(jié)構(gòu)、統(tǒng)計信息、客觀屬性、主觀屬性、生產(chǎn)屬性和組合信息。對于視覺信息，描述將包括顏色、視覺對象、紋理、草圖、形狀、體積、空間關(guān)系、運動及變形等 。他的主要應(yīng)用領(lǐng)域為膠片電影，錄音的剪切，多媒體編輯等等。 對于不同網(wǎng)絡(luò)之間用戶的互通問題，至今仍沒有成熟的解決方案。為了

21、解決以上問題，mpeg-21致力于為多媒體傳輸和使用定義一個標(biāo)準(zhǔn)化的、可互操作的和高度自動化的開放框架,其目的就是將不同的協(xié)議、標(biāo)準(zhǔn)和技術(shù)等有機地融合在一起，制定新的標(biāo)準(zhǔn)，將這些不同的標(biāo)準(zhǔn)集成在一起。mpeg-21標(biāo)準(zhǔn)其實就是一些關(guān)鍵技術(shù)的集成，通過這種集成環(huán)境對全球數(shù)字媒體資源進行增強，實習(xí)內(nèi)容描述、創(chuàng)建、發(fā)布、使用、識別、收費管理、版權(quán)保護、用戶隱私權(quán)保護、終端和網(wǎng)絡(luò)資源擷取及事件報告等功能。1.3.2mpeg標(biāo)準(zhǔn)應(yīng)用概況mpeg-1mpeg-2mpeg-4mpeg-7mpeg-21適用碼率1.5mb/s4.9mb/s64kmb/s/應(yīng)用領(lǐng)域vcd,低清晰度數(shù)字電視dvd，廣播電視，高清晰

22、度數(shù)字電視英特網(wǎng)，可視電話，視頻會議多媒體索引，多媒體編輯電子交易圖像清晰度352*288720*576720*576/1.3.3 h.261和h.263編碼標(biāo)準(zhǔn) h.261標(biāo)準(zhǔn)是itu于1990年制定的針對活動圖像的編碼協(xié)議。其設(shè)計的目的是能夠在帶寬為64kbps的倍數(shù)的綜合業(yè)務(wù)數(shù)字網(wǎng)(isdn for integrated services digital network)上傳輸質(zhì)量可接受的視頻信號 。它能夠?qū)if和qcif分辨率的視頻進行編碼，即亮度分辨率分別是352x288和176x144，色度采用4:2:0采樣，分辨率分別是176x144和88x72。 它同mpeg1的區(qū)別在于h.

23、 261是傳送屏幕區(qū)域的更新信息, 大幅度地降低了數(shù)據(jù)流的瞬時變化, 在帶寬有障礙的信道上傳輸是一種理想的方案。h. 261可使數(shù)據(jù)速率壓縮至p64kbps( p=120) , 一般在32384kbps時圖像可達cif、qcif15幀每秒( f/ s) , 總體上圖像質(zhì)量略遜于mpeg1。 h.263標(biāo)準(zhǔn)是 itu-t 于 1995 年制定的視頻會議用的低碼率視頻編碼標(biāo)準(zhǔn) ，其傳輸碼率可以低于64kbps。h.263視頻編碼器的基本結(jié)構(gòu)與h.261基本類似。h.261 編碼器由于僅使用了 i 幀和 p 幀，所以一定要采用較高的量化閾值和低的頻率，才能輸出相對較低的碼率。 h.263支持以下幾種

24、圖像格式，qcif, cif, 4cif 和 16cif，h. 263非常適合在固定帶寬的信道中傳輸視頻信號。為了提高編碼效率，增強編碼功能，itu-t 對 h.263進行了多次補充，補充修訂的版本有 1998 年制定的 h.263+，2000 年制定的 h.263+。升級版本與原來版本相比較，h.263只有5種視頻源格式，h.263+允許使用更多的源格式，圖像時鐘頻率也有多種選擇，拓寬應(yīng)用范圍；另一重要的改進是可擴展性，它允許多顯示率、多速率及多分辨率，增強了視頻信息在易誤碼、易丟包異構(gòu)網(wǎng)絡(luò)環(huán)境下的傳輸。另外，h.263+對h.263中的不受限運動矢量模式進行了改進，加上12個新增的可選模式

25、，不僅提高了編碼性能，而且增強了應(yīng)用的靈活性。h.263已經(jīng)基本上取代了h.261 h.263 標(biāo)準(zhǔn)版本升級主要體現(xiàn)在增加或修正一些高級編碼模式，即保持了對舊版本的兼容，又增加了新的功能。因而使其應(yīng)用范圍進一步擴大，壓縮效率、抗誤碼能力和重建圖像的主觀質(zhì)量等都得到了提高。1.3.4 h.264編碼標(biāo)準(zhǔn) h.264是itu-t以h.26x系列為名稱命名的標(biāo)準(zhǔn)之一，同時avc是iso/iec mpeg一方的稱呼，它將成為mpeg-4標(biāo)準(zhǔn)的第10部分。所以這個標(biāo)準(zhǔn)通常被稱之為h.264/avc ，其第一版的最終草案于2003年5月完成。 h.264是在mpeg-4技術(shù)的基礎(chǔ)之上建立起來的，其編解碼流

26、程主要包括5個部分：幀間和幀內(nèi)預(yù)測（estimation）、變換（transform）和反變換、量化（quantization）和反量化、環(huán)路濾波（loop filter）、熵編碼（entropy coding）。 h.264最大的優(yōu)勢是具有很高的數(shù)據(jù)壓縮比率，在同等圖像質(zhì)量的條件下，h.264的壓縮比是mpeg-2的2倍以上，是mpeg-4的1.52倍。舉個例子，原始文件的大小如果為88gb，采用mpeg-2壓縮標(biāo)準(zhǔn)壓縮后變成3.5gb，壓縮比為251，而采用h.264壓縮標(biāo)準(zhǔn)壓縮后變?yōu)?79mb，從88gb到879mb，h.264的壓縮比達到驚人的1021。h.264為什么有那么高的壓縮比

27、？低碼率（low bit rate）起了重要的作用，和mpeg-2和mpeg-4 asp等壓縮技術(shù)相比，h.264壓縮技術(shù)將大大節(jié)省用戶的下載時間和數(shù)據(jù)流量收費。尤其值得一提的是，h.264在具有高壓縮比的同時還擁有高質(zhì)量流暢的圖像，正因為如此，經(jīng)過h.264壓縮的視頻數(shù)據(jù)，在網(wǎng)絡(luò)傳輸過程中所需要的帶寬更少，也更加經(jīng)濟。 在技術(shù)上，h.264標(biāo)準(zhǔn)中有多個閃光之處，如統(tǒng)一的vlc符號編碼，高精度、多模式的位移估計，基于44塊的整數(shù)變換、分層的編碼語法等。這些措施使得h.264算法具有很的高編碼效率，在相同的重建圖像質(zhì)量下，能夠比h.263節(jié)約50左右的碼率。h.264的碼流結(jié)構(gòu)網(wǎng)絡(luò)適應(yīng)性強，增加

28、了差錯恢復(fù)能力，能夠很好地適應(yīng)ip和無線網(wǎng)絡(luò)的應(yīng)用。1.3.5 avs編碼標(biāo)準(zhǔn) 文中提起視頻壓縮編碼， mpegx、h.264 等視頻壓縮編碼標(biāo)準(zhǔn)，都是國外的標(biāo)準(zhǔn)化組織提出的，知識產(chǎn)權(quán)也屬于國外的研究機構(gòu)。國內(nèi)的企業(yè)和用戶要使用這些專利技術(shù)需要支付高昂的專利費用. 但是從 2006 年 3 月份起 ，我國也有了自己的視頻壓縮編碼標(biāo)準(zhǔn) ，這就是 avs 標(biāo)準(zhǔn)。它是由中科院計算所制定的，并且達到國際先進水平的數(shù)字視頻壓縮編碼標(biāo)準(zhǔn)。 由于 avs標(biāo)準(zhǔn)具有如下一些特點:(1）avs 視頻標(biāo)準(zhǔn)采用了與 h.264 類似的混合編碼的技術(shù)框架 ，包括變換、量化、熵編碼、幀內(nèi)預(yù)測、幀間預(yù)測、環(huán)路濾波等模塊;

29、(2)具有自主知識產(chǎn)權(quán)，得到了國家相關(guān)部門的支持和重視；（3）適用于地面數(shù)字電視廣播、有線數(shù)字電視、交互存儲媒體以及直播衛(wèi)星視頻等多個業(yè)務(wù)領(lǐng)域。因此, 受到了國內(nèi)外一些企業(yè)的歡迎,例如夏新電子、青島海信集團有限公司、北京海爾集成電路設(shè)計有限公司等。1.4 視頻編碼發(fā)展趨勢 伴隨著計算機及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，尤其視頻編解碼技術(shù)的日益成熟、計算機處理能力的快速提高、以及寬帶的逐漸普及，基于internet的視頻網(wǎng)絡(luò)實時應(yīng)用在許多行業(yè)得到應(yīng)用。例如可視電話及視頻會議系統(tǒng)、電視網(wǎng)絡(luò)實況轉(zhuǎn)播、遠程教育等。這些internet視頻實時應(yīng)用在許多政府政府部門被大范圍采用，尤其是銀行、廣電、石油、電力等行業(yè)，

30、出現(xiàn)了許多成功案例?？梢韵嘈?多媒體數(shù)據(jù)壓縮技術(shù)與視頻壓縮技術(shù)及網(wǎng)絡(luò)技術(shù)相結(jié)合的應(yīng)用前景十分可觀, 它將對今后的社會進步產(chǎn)生重大影響。2 h.264關(guān)鍵技術(shù)分析2.1 冗余處理 h.264為達到高效的壓縮，充分利用了各種冗余，主要包括視覺生理冗余和統(tǒng)計冗余。 視覺生理冗余是由于人類的視覺系統(tǒng)特性造成的，比如人眼對色彩分量的高頻分量沒有對亮度分量的高頻分量敏感，對圖像高頻（即細節(jié)）處的噪聲不敏感等。壓縮視頻圖像時對視覺冗余的壓縮并不占主要工作量統(tǒng)計冗余是指頻譜冗余（指色彩分量之間的相關(guān)性），空間冗余，還有時間冗余。這三者是視頻壓縮區(qū)別于靜止圖像的根本點，視頻壓縮主要利用時間冗余來實現(xiàn)大的壓縮比。

31、針對上述這些冗余，主要的考慮是集中在空間冗余和時間冗余上，因此， 視頻壓縮算法采用了不同的方法加以利用。對空間冗余，標(biāo)準(zhǔn)通過變換與量化的方法來達到消除的目的，這樣編碼的視頻圖像幀叫i幀（幀內(nèi)編碼幀）；與以前標(biāo)準(zhǔn)不同的是，h.264在編碼i幀時，也可以采用幀內(nèi)預(yù)測技術(shù)，然后對預(yù)測誤差進行編碼。這樣就充分利用了空間相關(guān)性，提高了編碼效率。而時間冗余則是通過幀間預(yù)測技術(shù)，即運動估計和補償法來去除，這樣編碼的視頻幀叫p幀（前向預(yù)測幀）或b幀（雙向預(yù)測幀）。 2.2 分層設(shè)計h.264的算法在概念上可以分為兩層：視頻編碼層（vcl：video coding layer）負(fù)責(zé)高效的視頻內(nèi)容表示，網(wǎng)絡(luò)提取層

32、（nal：network abstraction layer）負(fù)責(zé)以網(wǎng)絡(luò)所要求的恰當(dāng)?shù)姆绞綄?shù)據(jù)進行打包和傳送。在vcl和nal之間定義了一個基于分組方式的接口，打包和相應(yīng)的信令屬于nal的一部分。這樣，高編碼效率和網(wǎng)絡(luò)友好性的任務(wù)分別由vcl和nal來完成。vcl層包括基于塊的運動補償混合編碼和一些新特性。與前面的視頻編碼標(biāo)準(zhǔn)一樣，h.264沒有把前處理和后處理等功能包括在草案中，這樣可以增加標(biāo)準(zhǔn)的靈活性。nal負(fù)責(zé)使用下層網(wǎng)絡(luò)的分段格式來封裝數(shù)據(jù)，包括組幀、邏輯信道的信令、定時信息的利用或序列結(jié)束信號等。例如，nal支持視頻在電路交換信道上的傳輸格式，支持視頻在internet上利用rtp

33、/udp/ip傳輸?shù)母袷健al包括自己的頭部信息、段結(jié)構(gòu)信息和實際載荷信息，即上層的vcl數(shù)據(jù)。（如果采用數(shù)據(jù)分割技術(shù)，數(shù)據(jù)可能由幾個部分組成）。2.3 幀內(nèi)預(yù)測在先前的h.261，h.263系列和mpeg-x系列標(biāo)準(zhǔn)中，都是采用的幀間預(yù)測的方式。在h.264中，當(dāng)編碼圖像時可用幀內(nèi)預(yù)測，主要基于i幀。這種幀內(nèi)預(yù)測不是在時間上，而是在空間域上進行的預(yù)測編碼算法，可以除去相鄰塊之間的空間冗余度，取得更為有效的壓縮。 幀內(nèi)預(yù)測是充分利用相鄰宏塊的空間相關(guān)性，根據(jù)相鄰已編碼過的塊（主要是上邊塊和坐邊塊）的17個像素值來預(yù)測當(dāng)前塊的像素值，并且只對預(yù)測差值進行變換編碼以消除空間冗余，大大減少碼率。尤

34、其是在變化平坦的區(qū)域，利用幀內(nèi)預(yù)測可以用較少的比特數(shù)來表達像素塊信息，大大提高了編碼效率。h.264 共支持三類幀內(nèi)預(yù)測 ：第一類intra_44是針對44亮度塊的預(yù)測，共有9種預(yù)測模式，其中包括1種均值預(yù)測模式（dc模式）和8種具有一定方向性的預(yù)測模式。第二類intra_1616是針對1616亮度塊的預(yù)測，共有4種預(yù)測模式。第三類intra_88是針對88色度塊的預(yù)測，共有4種預(yù)測模式。intra44模式由于尺寸較小，比較適合于編碼細節(jié)豐富的圖像，且能獲得較小的差值，但同時由于intra_44的模式數(shù)較多，所以成為增加幀內(nèi)編碼復(fù)雜度的一個重要原因，而intra1616比較適用于編碼圖像中的平

35、滑區(qū)域。 此外，還有一種幀內(nèi)編碼模式，我們稱之為i_pcm編碼模式。該模式下，不需要經(jīng)過預(yù)測和變換，編碼器直接傳輸所用圖像像素值。在一些特殊圖像中，例如圖像內(nèi)容不規(guī)則，量化參數(shù)設(shè)置很低時，使用該模式比起“幀內(nèi)預(yù)測變換量化熵編碼”的常規(guī)模式效率更高。i_pcm模式用于以下目的：1）允許編碼器直接的表示圖像像素值。2）在不引起重大的數(shù)據(jù)量增加的情況下，提供表示不規(guī)則圖像內(nèi)容的準(zhǔn)確值。3）不損害編碼效率的同時，嚴(yán)格限制宏塊解碼比特數(shù)。2.3 幀間預(yù)測 幀間預(yù)測是利用視頻圖像幀間的相關(guān)性，即時間相關(guān)性，來達到圖像壓縮的目的。在視頻序列中，運動圖像多數(shù)情況下只是其中的很少一部分圖像在運動，同一場景相鄰的

36、兩幅視頻幀之間在內(nèi)容上的差異不會太大，或者說后一幀的內(nèi)容與前一幀之間的差異很小。前一幀的重復(fù)部分很多由于活動圖像的前后幀之間存在著很大的相關(guān)性和冗余度 ，通過幀間預(yù)測去除這種相關(guān)性和冗余度可以極大提高信源的壓縮。我們經(jīng)常使用的方法包括運動估計，運動補償和多參考幀預(yù)測，來減少圖像冗余度。例如，生活中大多數(shù)電視圖像相鄰幀間細節(jié)變化是很小的，即視頻圖像幀間具有很強的相關(guān)性，利用幀所具有的相關(guān)性的特點進行幀間編碼，可獲得比幀內(nèi)編碼高得多的壓縮比 。2.3.1樹狀運動補償在h.264運動預(yù)測中，每個亮度宏塊被劃分為形狀不等的區(qū)域，作為運動描述 ：一個 1616，兩個 168，兩個 816，四個 88。其

37、運動補償也相應(yīng)有四種。而 88 模式的每個子宏塊還可以按照四種方式分割：一個 88，兩個 48 或兩個 84 及 4 個 44。這些分割和子宏塊大大提高了各宏塊之間的關(guān)聯(lián)性。這種分割下的運動補償則稱為樹狀結(jié)構(gòu)運動補償。 如下圖所示 0 1 0 1 2 301 0 16分割方式：16*16，8*16,16*8，8*8 0 1 0 1 2 301 08分割方式： 8*8, 4*8, 8*4, 4*4每個區(qū)域都包含各自的運動向量，并且每個運動向量和其所在區(qū)域選取信息時必須通過編碼傳輸。所以，選取較大的區(qū)域時，運動向量和區(qū)域的選取數(shù)據(jù)量就會變少，運動補償后的殘差大。然而當(dāng)選取小區(qū)域時，運動向量和區(qū)域的

38、選取數(shù)據(jù)量就會變多，殘差減少，預(yù)測值更加精確。所以，大區(qū)域適合反映幀間同質(zhì)部分，小區(qū)域適合反映幀間細節(jié)部分。2.3.2 運動估計 在幀間預(yù)測編碼中，由于活動圖像鄰近幀中的景物存在著一定的相關(guān)性。因此，可將活動圖像分成若干塊或宏塊，并設(shè)法搜索出每個塊或宏塊在鄰近幀圖像中的位置，并得出兩者之間的空間位置的相對偏移量，得到的相對偏移量就是通常所指的運動矢量，得到運動矢量的過程被稱為運動估計。通過運動估計可以去除幀間冗余度，使得視頻傳輸?shù)谋忍財?shù)大為減少，因此，運動估計是視頻壓縮處理系統(tǒng)中的一個重要組成部分。 運動估計的分類：全局運動估計，基于像素點的運動估計，基于塊的運動估計，基于區(qū)域的運動估計。2.

39、3.3 多參考幀預(yù)測以往的視頻壓縮標(biāo)準(zhǔn)采用1個參考幀，h.264標(biāo)準(zhǔn)為幀間圖像編碼提供了多參考幀選擇,可選擇5個不同的參考幀， 進行幀間預(yù)測，這使得編碼率降低，幀間編碼更加有效。h.264除了支持i幀p幀和b幀，還支持新的碼流間可轉(zhuǎn)換幀:sp幀和si幀。sp幀技術(shù)的主要特性是使用不同的預(yù)測參考幀也能解碼恢復(fù)出相同的sp幀。si幀利用了幀內(nèi)預(yù)測編碼技術(shù)，其重建圖像和對應(yīng)的采用運動補償預(yù)測的sp幀的重建圖像相同。在提供相同功能時sp幀的編碼效率遠遠高于i幀，因此，sp幀在流間切換、拼接和隨機接入等應(yīng)用中取代i幀。2.4 變換和量化2.4.1 整數(shù)變換將圖像的當(dāng)前像素值與預(yù)測值相減，就形成了預(yù)測殘差

40、。殘差內(nèi)仍然含有空間冗余，為了消除這種冗余，在所有的視頻壓縮協(xié)議中，最終都需要對一個殘差宏塊進行“變換量化編碼”，三個步驟的完整過程。在h.264之前，例如mpeg-1，mpeg-2，mpeg-4和h.263協(xié)議，采用的變換函數(shù)都是基于88塊的dct變換；這一點，在h.264協(xié)議中已經(jīng)有所改變。變換函數(shù)的選取依據(jù)需要進行變換的殘差塊類型分為3種方式：（1）適用于幀內(nèi)預(yù)測宏塊44亮度dc系數(shù)塊的變換；（2）適用于任何宏塊色度22dc系數(shù)塊的變換；（3）適用于其他44殘差數(shù)據(jù)塊的變換；如果需要，還可以選擇與運動補償塊大小（48、84、88、168）相對應(yīng)的變換。2.4.2量化處理 量化過程在不降低

41、視覺效果的前提下減少圖像編碼長度，減少視覺恢復(fù)中不必要的信息。h.264采用標(biāo)量量化技術(shù)，它將每個圖像樣點編碼映射成較小的數(shù)值。一般量化原理為：fq=round(y/qp)其中：y為輸入樣本點編碼，qp為量化步長，fq為y的量化值，round()為取整函數(shù)（其輸出為與輸入實數(shù)最近的整數(shù)）。在h.264 中，量化步長 qstep共有52 個值，對應(yīng)于不同的量化參數(shù)qp(量化步長的序號），qp值每增加6，qstep值增加一倍。qp值每增加1，qstep值增加12.5。量化步長取值范圍很廣，這就為編碼中兼顧比特率和編碼質(zhì)量提供了足夠多的靈活度和準(zhǔn)確度。2.5 熵編碼熵編碼即編碼過程中按熵原理不丟失任

42、何信息的編碼。 是整個編碼步驟的最后一步。h.264標(biāo)準(zhǔn)提供的熵編碼方案有：（1）exp-golomb碼；（2）基于上下文的自適應(yīng)變長碼編碼(cavlc)；（3）基于上下文的自適應(yīng)二進制算術(shù)編碼(cabac)。2.5.1 exp-golomb 編碼特點(1)對所有的句法元素，除了量化系數(shù)外，使用單一無限擴展的碼字表。(2)是有規(guī)則結(jié)構(gòu)的可變長編碼。2.5.2 cavlc 編碼特點 （1） 基于上下文的自適應(yīng)變字長編碼是對經(jīng)過之字形掃描的44塊變換系數(shù)進行編碼的方法。利用了44塊的一些特性. （2）預(yù)測變換量化后的塊一般是稀疏的。 （3)之字形掃描后的最高零系數(shù)是+1/-1的序列(4)相鄰塊的非

43、零系數(shù)是相關(guān)的。(5)非零系數(shù)的幅度在重排數(shù)組的開始處比較高，在高頻系數(shù)比較低。2.5.3 cabac 編碼特點 （1）算術(shù)編碼是把整個信源表示為實數(shù)中01之間的一個區(qū)間，起長度等于該序列的概率； （2）在區(qū)間內(nèi)選擇一個代表性的小數(shù)，轉(zhuǎn)化為二進制作為實際的編碼輸出； （3）算術(shù)編碼的平均編碼長度為小數(shù)。2.6 去塊效應(yīng)濾波器.264采用基于的塊的編碼方式，把每幅圖像劃分為固定大小的塊，對于每一個再進行（離散余弦變換），塊邊界上的像素值的重構(gòu)精度相對塊中間的像素值的精度要差一些，這樣就人工的在塊與塊之間產(chǎn)生了不連貫的效應(yīng)，稱為“塊效應(yīng)”，使得解碼重建后得到的圖像明顯呈現(xiàn)出以塊拼接出的感覺。因此，

44、在解碼重建后應(yīng)當(dāng)對圖像進行“去塊效應(yīng)”處理，通過對宏塊邊緣的平滑濾波，減輕視頻編碼中的塊效應(yīng)。當(dāng)塊邊界上兩邊差較小則使用濾波器使差別“平滑”掉, 若邊界上圖像特征明顯則不使用濾波。這樣既減弱“塊效應(yīng)”的影響又避免濾掉圖像的客觀特征。采用去塊效應(yīng)濾波器，使得所解碼的圖像呈現(xiàn)自然的質(zhì)感。第三章 h.264幀內(nèi)預(yù)測算法分析幀內(nèi)預(yù)測的目的是生成對當(dāng)前宏塊的預(yù)測值。在幀內(nèi)預(yù)測模式中，預(yù)測技術(shù)是基于塊形成的，預(yù)測宏塊是基于已編碼重建塊和當(dāng)前塊形成的。一個宏塊由一個16x16的亮度（luma）分量和兩個8x8的色度（chroma）分量構(gòu)成。亮度(luma)塊有兩類幀內(nèi)預(yù)測方式按標(biāo)準(zhǔn)中的記號表示為intra_

45、16x16和intra_4x4，其相關(guān)操作為：intra_4x4 亮度子塊有9 種可選預(yù)測模式，獨立預(yù)測每一個44亮度子塊，適用于帶有大量細節(jié)的圖像編碼；intra_16x16 亮度塊有 4 種預(yù)測模式，預(yù)測整個 1616 亮度塊，適用于平坦區(qū)域圖像編碼；對色度像素而言，色度塊也有4 種預(yù)測模式，類似于1616 亮度塊預(yù)測模式。編碼器通常選擇使p 塊和編碼塊之間差異最小的預(yù)測模式。3.1 4*4亮度預(yù)測模式 在此模式下，編碼器將當(dāng)前宏塊16x16的luma分量劃分為16個4x4的塊，然后根據(jù)每個4x4塊周圍的鄰近像素對該塊做預(yù)測。h.264只選擇了13個像素作為參考。44 亮度塊的上方和左方像

46、素 aq 為已編碼和重構(gòu)像素，用作編解碼器中的預(yù)測參考像素。a p 為待預(yù)測像素，利用 aq 值和9 種模式實現(xiàn)。如下圖所示a)利用像素a-q對方塊中a-p像素進行幀內(nèi)44預(yù)測 b)幀內(nèi)44 預(yù)測的8個預(yù)測方向。44亮度塊預(yù)測模式144塊亮度分量幀內(nèi)預(yù)測算法模式0(垂直模式) 通過當(dāng)前像素正上方相鄰像素a、b、c、d進行預(yù)測模式1(水平模式)通過當(dāng)前像素正左方相鄰像素i、j、k、l進行預(yù)測模式2(dc均值模式) 用相鄰像素a、b、c、d和i、j、k、l的均值預(yù)測模式3(左方斜下模式)按上右至下左45度方向進行預(yù)測模式4(右方斜下模式)按上左至下右45度方向進行預(yù)測模式5(垂直偏右模式)按垂直偏

47、右266度方向進行預(yù)測(寬與高比例l：2)模式6(水平偏下模式)按水平偏下266度方向進行預(yù)測模式7(垂直偏左模式)按垂直偏左266度方向進行預(yù)測模式8(水平偏上模式) 按水平偏上266度方向進行預(yù)測在開始預(yù)測之前首先需判斷a-m這些參考像素是否可用，如果有些參考像素不可用那么有些預(yù)測模式也就不能用了。其中dc預(yù)測(模式2)、垂直預(yù)測(模式0)和水平預(yù)測(模式2）總是被認(rèn)為是有效的，即使在編碼塊上面像素或左邊像素不可用的情況下，這時候上面像素或左邊像素的值就使用128這個值來代替。而其它模式僅當(dāng)所有需要利用的預(yù)測象素點都可用的情況下才可以使用。當(dāng)對于宏塊內(nèi)序號為d和k的4x4子塊，e-h參考像

48、素尚未編碼，所以它們的e-h參考像素是不可用的。另外如果e-h不可用而d是可用的則用d來替代e-h并將e-h標(biāo)記為可用。在決定了哪些參考像素可用后就可以通過它們產(chǎn)生預(yù)測值。h.264一共定義了9種intra_4x4預(yù)測方式。除了模式2（dc方式） 之外其它8種都是向某一個方向上進行預(yù)測也就是做外插，h.264并不直接編碼各個塊的預(yù)測模式而是根據(jù)當(dāng)前塊左邊和上邊塊的預(yù)測模式對當(dāng)前塊的預(yù)測模式進行估計下面我們將舉例說明如何在各種模式下進行像素值預(yù)測。：以模式0為例,當(dāng)a,、b、c、d四個樣本點都可用時，預(yù)測過程為： a, e, i, m 由a預(yù)測 b, f, j, n 由b預(yù)測 c, g, k,

49、o 由c預(yù)測 d, h, l, p 由d預(yù)測當(dāng)上邊塊a至h的樣本點不可用，預(yù)測過程為： a=b=c=d=e=f=g=h=128 a=e=i=m=128 b=f=j=n=128 c=g=k=o=128 d=h=i=p=128當(dāng)e至h的樣本點不可用時，預(yù)測過程為： e=f=g=h=d以模式1為例，當(dāng)i,j,k,l四個樣本點都可用時，預(yù)測過程為： a, b, c, d 由i預(yù)測 e, f, g, h 由j預(yù)測 i, j, k, l 由k預(yù)測 m, n, o, p 由l預(yù)測當(dāng)坐邊塊i至l的樣本點不可用時，預(yù)測過程為： i=j=k=l=128 a=b=c=d=128 e=f=g=h=128 i=j=k=

50、l=128 m=n=o=p=128。3.2 16*16亮度預(yù)測模式 16 x 16預(yù)測方式是基于在16x16塊的基礎(chǔ)上，用于對圖像中的相對不變的部分進行編碼。16x16幀內(nèi)預(yù)測模式根據(jù)與當(dāng)前宏塊鄰近的33個像素來生成luminance分量的預(yù)測數(shù)據(jù)，共有4種預(yù)測方式，模式0垂直（vertical）、模式1水平（horizontal）,模式2 dc和模式3平面（plane）。16*16四種預(yù)測模式 1616預(yù)測模式描述 模式0 （垂直）由上邊像素推出相應(yīng)像素值 模式1 （水平） 由左邊像素推出相應(yīng)像素值 模式2 （dc）由上邊和左邊像素平均值推出相應(yīng)像素值 模式3 （平面）利用線形“plane”

51、函數(shù)及左、上像素推出相應(yīng)像素值，適用于亮度變化平緩區(qū)域 在進行預(yù)測之前首先要判斷這些鄰近像素是否可用，如果這些像素不可用，例如鄰近像素所在的宏塊位于其它幀之中或當(dāng)前宏塊位于圖像邊緣時某些預(yù)測模式就用不起來。例如: (1)對于垂直模式，如果上邊塊h可用的話，預(yù)測值即為h，否則不能使用此模式。(2) 對于水平模式，如果左邊塊v可用的話，預(yù)測值即為v，否則不能使用此模式。(3) 對于 dc 模式，如果上邊塊h和左邊塊v都可用，就用這32個像素的均值作為預(yù)測值；如果只有h或v之中的一個可用，就用這16個像素的均值作為預(yù)測值；如果h和v都不可用，則預(yù)測值設(shè)定為128。(4) 對于plane模式，要求必須

52、所有的33個鄰近像素都可用，這種方式實質(zhì)上就是利用h和v做外插(extrapolation)，為便于敘述，引入一個坐標(biāo)系，其中橫向為x軸，縱向為y軸，定義當(dāng)前宏塊左上角像素的坐標(biāo)為(0,0)。用p(x,y)表示位于坐標(biāo)(x,y)處的33個鄰近像素值，其中h對應(yīng)p(x, -1),x= 015, v 對應(yīng)p(-1,y ),y= 015，而左上角處的鄰近像素值為p(-1,1) 。預(yù)測值用pred(x,y),x,y= 015表示。其中如果參考樣點不在編碼圖像內(nèi)則以128代替。模式0: 垂直預(yù)測：通過當(dāng)前預(yù)測塊正上方的相鄰像素a至d進行預(yù)測。塊內(nèi)各像素點計算值如下：pred (i,j)=p(i,-1)

53、i,j =0.15模式1: 水平預(yù)測: 通過當(dāng)前預(yù)測塊正左方的相鄰像素il進行預(yù)測，計算公式如下：pred(i,j)=p(-1,j) i, j= 0.15模式2：dc預(yù)測：如果當(dāng)前預(yù)測塊的相鄰像素h、v均不在圖像內(nèi)部，即當(dāng)前塊位于圖像的最左上方，所有的像素的預(yù)測值均為128；如果當(dāng)前預(yù)測塊的相鄰像素h不在圖像內(nèi)部，則使用相鄰像素v進行預(yù)測，當(dāng)前預(yù)測塊的像素預(yù)測值為像素v的平均值；如果當(dāng)前預(yù)測塊的相鄰像素v不在圖像內(nèi)部，則使用相鄰像素h進行預(yù)測，當(dāng)前預(yù)測塊的像素預(yù)測值為像素h的平均值，否則，當(dāng)前預(yù)測塊的像素預(yù)測值為像素(hw)的平均值。模式3: 平面預(yù)測predc(x,y)clipl( a+ b

54、 * (x-7)+c*(y-7)+16)5) x,y =0.15其中：a=16 * (p(-1,15) + p(15,-1)b=(5 * h + 32)6c=(5 * v + 32)6h=(x+1) *(p(8+x,-1)p(6-x,-1) x=07v=(y+1) *(p(-1,8+y)p(-1,6-y) y=07clipl(x )代表將x位于0到255之間(含)3.3 8*8色度預(yù)測模式h.264對色度分量也能進行幀內(nèi)預(yù)測，每個幀內(nèi)編碼宏塊的88色度成分由已編碼左上方色度像素預(yù)測而得，兩種色度成分常用同一種預(yù)測模式，預(yù)測的參考像素是同一個chroma分量的周圍17個像素。對色度塊的預(yù)測模式而

55、言，色度預(yù)測也有4種預(yù)測模式，類似于亮度幀內(nèi)1616預(yù)測的4種預(yù)測模式，只是模式編號不同。模式0為dc，模式1為水平，模式2為垂直，模式3為平面。為8*8的模式8*8四種預(yù)測模式8*8色度預(yù)測模式描述medel(水平預(yù)測)通過當(dāng)前預(yù)測塊正左方相鄰像素i-l進行預(yù)測。mede2(垂直預(yù)測)通過當(dāng)前預(yù)測塊正上方相鄰像素a-d進行預(yù)測。mode3(平面預(yù)測)對上方和左方的相鄰像素斜向往返式預(yù)測。令88色度塊像素的位置表示為p（x,y），(x,y=07)，當(dāng)前塊正上方的8個相鄰像素的位置為p(x,-1)，(x，y=07)，正左方的8個相鄰像素的位置為p(-1，y)，(x,y=07)，當(dāng)前塊的預(yù)測結(jié)果為pred(x，y)，(x,y=07)。預(yù)測算法如下：1模式 0(dc預(yù)測)：如果當(dāng)前預(yù)測塊的相鄰像素h、v均不在圖像內(nèi)部，即當(dāng)前塊位于圖像的最左上方，所有的像素的預(yù)測值均為128；如果當(dāng)前預(yù)測塊的相鄰像素h不在圖像內(nèi)部，則使用相鄰像素v進行預(yù)測，當(dāng)前預(yù)測塊的像素預(yù)測值為像素v的平均值；如果當(dāng)前預(yù)測塊的相鄰像素v不在圖像內(nèi)部，則使用相鄰像素h進行預(yù)測，當(dāng)前預(yù)測塊的像素預(yù)測值為像素h的平均值，否則，當(dāng)前預(yù)測塊的像素預(yù)測值為像素(h+v)的平均值。2模式l(水平預(yù)測)：通過當(dāng)前預(yù)測塊