第4章線性預(yù)測(cè)-printed

1、第四章線性預(yù)測(cè)我們可以預(yù)測(cè)未來嗎？答案是可以。但是不一定能完全準(zhǔn)確地預(yù)測(cè)將來。通常，事件之間有內(nèi)在的結(jié)構(gòu)關(guān)系和慣性，因此我們的確可以基于對(duì)過去和現(xiàn)在的知識(shí)來估計(jì)將來。這和圖像壓縮又有何關(guān)系？我們的目標(biāo)是用簡(jiǎn)潔有效的方式描述隨機(jī)信號(hào)。線性預(yù)測(cè)有助于降低信號(hào)的冗余度，用較少的比特表示波形。實(shí)質(zhì)上，線性預(yù)測(cè)就是最小均方估值理論的一個(gè)特例。但由于它在圖像壓縮中的重要地位，我們單獨(dú)用一章來討論。主要內(nèi)容：1、估值原理基礎(chǔ)2、帶有限存儲(chǔ)器的線性預(yù)測(cè)器3、前向預(yù)測(cè)和后向預(yù)測(cè)4、隨機(jī)過程的表示4.1估值原理基礎(chǔ)預(yù)測(cè)是從觀察的某隨機(jī)變量估計(jì)一個(gè)或多個(gè)隨機(jī)變量的統(tǒng)計(jì)估值。被估計(jì)的變量關(guān)系到“將來”，而觀察的變量關(guān)

2、系到“過去”（或過去及現(xiàn)在）。最常用的估計(jì)是從觀察的個(gè)先前的樣值估計(jì)該平穩(wěn)過程的現(xiàn)在樣值。另外，在圖像壓縮應(yīng)用中，從“先驗(yàn)”的圖像樣值塊估計(jì)當(dāng)前的圖像樣值塊?；蛘咴谛盘?hào)壓縮應(yīng)用中，從一個(gè)或個(gè)矢量預(yù)測(cè)某矢量。4.1.1 觀察隨機(jī)矢量預(yù)測(cè)第二個(gè)隨機(jī)矢量給定隨機(jī)矢量，要預(yù)測(cè)的矢量，兩個(gè)矢量的維數(shù)不必完全相同。例如，是最常見的情況，即從個(gè)觀察樣值集合預(yù)測(cè)一個(gè)隨機(jī)變量。為便于概率分析，設(shè)這些隨機(jī)矢量由概率分布函數(shù)描述（概率分布可以根據(jù)經(jīng)驗(yàn)分布來估計(jì)）。最佳預(yù)測(cè)總是基于某個(gè)“最佳”準(zhǔn)則，我們選擇使用最為廣泛的均方誤差準(zhǔn)則（MSE）。 設(shè)預(yù)測(cè)值為，則定義均方誤差為：(4.1)MSE準(zhǔn)則可以反映通過預(yù)測(cè)來減小

3、誤差信號(hào)能量的程度。因?yàn)轭A(yù)測(cè)的目的就是要去除可預(yù)測(cè)的信息，所以MSE越小則預(yù)測(cè)器的性能越好。當(dāng)給定預(yù)測(cè)器的MSE最小時(shí)，則為最佳預(yù)測(cè)器。 兩種常用的特殊情況。 表示一個(gè)平穩(wěn)隨機(jī)過程的個(gè)相繼樣值， 是下一個(gè)（或者“未來”）樣值，已知有限個(gè)過去值，尋找最佳的一步預(yù)測(cè)器。另一種情況，是圖像中的一個(gè)子塊，包含上面及左邊的圖像子塊，目的是利用已經(jīng)解碼的圖像區(qū)域預(yù)測(cè)該圖像中新的區(qū)域，如圖4.1所示，用子塊A、B和C預(yù)測(cè) D。圖4.1所示，用子塊A、B和C預(yù)測(cè) D4.1.2 最佳線性預(yù)測(cè)(1) 簡(jiǎn)單情況 隨機(jī)變量的估計(jì)當(dāng)隨機(jī)過程均值為0時(shí)： 隨機(jī)矢量，用隨機(jī)變量的線性組合來估計(jì)隨機(jī)變量，其估計(jì)值用 表示：(

4、4.2)由最小均方誤差準(zhǔn)則（MMSE）確定，即，其中，。根據(jù)拉格朗日極值定理，將對(duì) 求偏導(dǎo)，并使其為0，得：(4.3)這個(gè)等式就是線性均方估值的正交原理 誤差 與所有隨機(jī)變量 在統(tǒng)計(jì)上正交?；蛘哂洖?。當(dāng)隨機(jī)過程均值不為0時(shí)：(4.4)不難證明，（2）(4.3)式仍然成立。但估值方程變成含個(gè)未知數(shù)。因此，對(duì)（2）(4.3)式也要附加如下方程：(4.5)(2) 普遍情況：已知維矢量，希望預(yù)測(cè)一個(gè)維矢量，估計(jì)矢量為，則，(4.6)其中， 是預(yù)測(cè)系數(shù)矢量，它是維列矢量。也可以將(4.6)式寫成：(4.7)均方誤差：(4.8)要得到最佳線性預(yù)測(cè)器，則尋找使均方誤差最小的矩陣。顯然，當(dāng)各項(xiàng)誤差 都最小時(shí)

5、，其誤差總和也達(dá)到最小值。令，則根據(jù)等式(4.3)單個(gè)隨機(jī)變量 的最佳估計(jì)有：(4.9)這就是矢量最佳線性預(yù)測(cè)的正交原理。下面利用正交原理求解最佳線性預(yù)測(cè)系數(shù)方程。將(4.7)代入(4.8)得到：寫成矩陣的形式：(4.10)其中， 是矢量的自相關(guān)矩陣。如果自相關(guān)矩陣是非奇異矩陣，則，(4.11)因?yàn)樽韵嚓P(guān)矩陣及其逆矩陣都是對(duì)稱矩陣，所以又可寫成，或 (4.12)定理：最小均方誤差線性預(yù)測(cè)器 的系數(shù)矩陣是如下方程的解：(4.13)其中，。4.2帶有限存儲(chǔ)器的線性預(yù)測(cè)器線性預(yù)測(cè)最重要的一個(gè)應(yīng)用就是給定一個(gè)平穩(wěn)隨機(jī)過程的個(gè)過去樣值，預(yù)測(cè)其將來的樣值。設(shè)離散實(shí)值平穩(wěn)隨機(jī)過程, 當(dāng)零均值時(shí)的自相關(guān)函數(shù)為

6、：(4.14)其方差，因過程為零均值，自相關(guān)函數(shù)與自協(xié)方差函數(shù)相同。已有文獻(xiàn)證明，零均值平穩(wěn)隨機(jī)過程的譜密度和自相關(guān)函數(shù)是一對(duì)付里葉變換對(duì)，即，(4.15)其中，是歸一化處理后的角頻率，是的周期函數(shù)，周期為。這一結(jié)論在以后的討論中將用到。通常，信號(hào)樣值之間的相關(guān)性不為零，這表明已知一個(gè)樣值可以得到另外一個(gè)樣值的部分信息。具體地說，觀察隨機(jī)過程過去樣值可以得到關(guān)于現(xiàn)在樣值的部分知識(shí)。一步預(yù)測(cè)器就是基于對(duì)過去樣值的觀察，來估計(jì)當(dāng)前樣值。用第一節(jié)中的數(shù)學(xué)語言統(tǒng)一書寫，則觀察矢量，待估計(jì)矢量。這里的觀察樣值是無限長的。限制預(yù)測(cè)器存儲(chǔ)器長度為，我們就能直接利用上一節(jié)的結(jié)論。令：(4.16)其中，是線性預(yù)

7、測(cè)系數(shù)，負(fù)號(hào)的引入是為了方便預(yù)測(cè)誤差的表示。預(yù)測(cè)誤差表示為：(4.17)將前面公式（9）(4.10)中的用替換、用替換、用替換、用替換，得到：(4.18)其中： 是預(yù)測(cè)器的系數(shù)矢量；矩陣是平穩(wěn)隨機(jī)序列的階自相關(guān)矩陣：(4.19)是Toeplitz矩陣，即每條對(duì)角線上的所有數(shù)都相同。（關(guān)于平穩(wěn)隨機(jī)過程的所有理論都是以Toeplitz矩陣和函數(shù)為基礎(chǔ)的。）當(dāng)非奇異時(shí)，等式(4.18)也可寫成，(4.20)總之，最佳線性預(yù)測(cè)器系數(shù)的歸一化方程（也被稱為有限長Wiener-Hopf 方程）為：(4.21)該最佳預(yù)測(cè)器的等價(jià)正交原理表述為：(4.22)即 (4.23)或 同樣，我們用均方誤差來度量該有限

8、長度線性預(yù)測(cè)器的性能。用替換得到，(4.24)下標(biāo)表示預(yù)測(cè)器的存儲(chǔ)器長度。另外一個(gè)常用的性能指標(biāo)是預(yù)測(cè)增益：(4.25)將等式(4.16)、(4.20)代入(4.24)整理得：(4.26)(4.26)式表明，均方誤差是預(yù)測(cè)系數(shù)矢量的二次方程。最佳化問題也就是求關(guān)于矢量的最小二次方程的問題。設(shè)，將(4.26)式改寫為：(4.27)的最佳化就是求解矢量使上式最小。最佳的等效于求最佳的。由(4.20)式，當(dāng)取最佳化系數(shù)，將(4.18)式代入(4.26)得最小均方誤差：(4.28)值得指出的一種重要觀點(diǎn)是，將預(yù)測(cè)誤差看成是輸入序列經(jīng)過傳輸函數(shù)為的FIR濾波器而生成的另外一個(gè)平穩(wěn)隨機(jī)序列，則從式(4.1

9、7)可立即得到：(4.29)稱為預(yù)測(cè)誤差濾波器，它在語音信號(hào)處理中很重要，也蘊(yùn)涵了我們后面將討論的另一種隨機(jī)過程表示的基本思想。4.3前向預(yù)測(cè)和后向預(yù)測(cè)下面從一個(gè)不同的角度來討論有限長線性預(yù)測(cè)的問題，推導(dǎo)出重要的計(jì)算技術(shù)Levinson-Durbin算法，以及格狀濾波器結(jié)構(gòu)，這對(duì)于線性預(yù)測(cè)、自適應(yīng)濾波和頻譜成形等應(yīng)用中特定濾波器的實(shí)現(xiàn)起重要作用。圖4.2 前向預(yù)測(cè)和后向預(yù)測(cè)給定離散時(shí)間信號(hào)的個(gè)觀測(cè)值，現(xiàn)在的預(yù)測(cè)值為：(4.30)它是利用過去值（觀察值）來預(yù)測(cè)現(xiàn)在值（時(shí)間軸上是正向的），稱為前向預(yù)測(cè)。如圖4.2所示。相反地，用同樣的觀測(cè)值估計(jì)觀測(cè)樣點(diǎn)之前的信號(hào)值，被稱為后向預(yù)測(cè)，預(yù)測(cè)值為：(4.

10、31)是后向預(yù)測(cè)系數(shù)。用表示前向預(yù)測(cè)誤差，則最佳線性預(yù)測(cè)的正交條件為：(4.32)得到(4.33)其中。類似地，用表示后向預(yù)測(cè)誤差，則(4.34)其中。最佳線性預(yù)測(cè)的正交條件為：(4.35)得到(4.36)因此，前向預(yù)測(cè)和后向預(yù)測(cè)是相同觀測(cè)值集合的線性組合，它們唯一的區(qū)別是預(yù)測(cè)系數(shù)不同。但它們之間完全不同嗎？對(duì)于平穩(wěn)隨機(jī)過程，(4.33)和(4.36)可以分別表示為：(4.37)(4.38)可證明滿足：(4.39)則(4.37)和(4.38)式可簡(jiǎn)化為一個(gè)方程。證明：對(duì)(4.38)式作變量代換：，利用(4.39)式和自相關(guān)函數(shù)的對(duì)稱性得：上式用代替，則變?yōu)?4.37)式。因此，反向預(yù)測(cè)系數(shù)值等

11、于時(shí)間反向的正向預(yù)測(cè)系數(shù)值。下面說明我們研究后向預(yù)測(cè)的意義。假設(shè)已知一個(gè)長度為的最佳線性預(yù)測(cè)器，如何充分利用已知的預(yù)測(cè)系數(shù)來確定長度為的最佳線性預(yù)測(cè)器？在求解之前，首先要明確的是，對(duì)于長度為的線性預(yù)測(cè)器是最佳系數(shù)，但對(duì)于長度為的線性預(yù)測(cè)器通常就不再是最佳的。由等式(4.11)可見，矢量與的大小有關(guān)。但是，無須一切從頭開始，我們可以從已知的階最佳線性預(yù)測(cè)器快捷地得到階最佳線性預(yù)測(cè)器的預(yù)測(cè)系數(shù)。用表示從個(gè)觀測(cè)值前向一步預(yù)測(cè)的估計(jì)值，則(4.40)階線性預(yù)測(cè)器的預(yù)測(cè)系數(shù)為，。其前向預(yù)測(cè)誤差，(4.41)階線性預(yù)測(cè)器與階線性預(yù)測(cè)器的區(qū)別在哪兒？區(qū)別在于階線性預(yù)測(cè)器多了一個(gè)樣值的信息來幫助估計(jì)當(dāng)前樣值。

12、樣值中包含的新信息是不能由個(gè)觀測(cè)值線性組合得到的信息恰是從這個(gè)觀測(cè)值得到的后向預(yù)測(cè)誤差。因此，的階線性預(yù)測(cè)值可以表示為：(4.42)其中第一項(xiàng)是階最佳線性預(yù)測(cè)誤差，第二項(xiàng)正比于觀測(cè)值帶來的新信息。因此無須重頭計(jì)算所有的系數(shù)，唯一待定的參數(shù)是比例常數(shù)。在(4.42)式的兩邊同時(shí)用去減，得到預(yù)測(cè)誤差形式的等價(jià)式：(4.43)(4.42)表明是個(gè)觀測(cè)值的線性組合。而要滿足長度最佳線性預(yù)測(cè)的正交條件，必須有(4.44)(4.45)(4.44)顯然已經(jīng)滿足了。要使(4.45)成立，將(4.43)代入(4.45)求解滿足條件的：(4.46)或者(4.47)其中， (4.48)(4.49)即(4.50)所以

13、(4.51)參數(shù) 稱為反射系數(shù)， 可以由式(4.48)方便地解出。將(4.30)和(4.34)代入(4.42)得到階最佳線性預(yù)測(cè)器的預(yù)測(cè)系數(shù)：(4.52)其中，。利用(4.39)消去后向系數(shù)得到迭代等式(4.53)同理推導(dǎo)均方誤差的迭代公式：因?yàn)?且, 得到簡(jiǎn)潔的均方誤差迭代式：(4.54)觀察該式可以發(fā)現(xiàn)一些重要的結(jié)論。首先注意到，如果，則，這顯然是不可能的；如果，則，這對(duì)于非確定性過程是不可能的，即自相關(guān)矩陣是非奇異的隨機(jī)過程。因此，非確定性過程的反射系數(shù)的幅度總是小于1。另外，意味著最佳預(yù)測(cè)器從階增長到階沒有預(yù)測(cè)性能上的提高。在這種情況下，最佳階預(yù)測(cè)器的系數(shù)和階預(yù)測(cè)器是一樣的。等式(4.53)、(4.54)給出了預(yù)測(cè)系數(shù)及均方預(yù)測(cè)誤差的迭代公式，通常被稱為Levinson-Durbin迭代（Levinson-Durbin算法見附錄A）。它是格狀濾波器（或者梯形濾波器）結(jié)構(gòu)的基礎(chǔ)，這些濾波器常被用來實(shí)現(xiàn)預(yù)測(cè)誤差濾波器或。定義后向預(yù)測(cè)誤差濾波器為(4.55)根據(jù)等式(4.39)有(4.56)后向預(yù)測(cè)誤差濾波器可以完全由前向預(yù)測(cè)誤差濾波器確定。如