一種優(yōu)化動量因子的盲分離算法論文

1、一種優(yōu)化動量因子的非線性主分量分析算法摘 要 盲源分離算法收斂速度和穩(wěn)態(tài)誤差存在沖突，針對這一問題提出了通過引入動量項并且對動量因子進行優(yōu)化的方法來使收斂速度和穩(wěn)態(tài)誤差之間沖突達到最小。該算法通過優(yōu)化的動量項使非線性主成分分析的代價函數(shù)最速下降，從而使算法收斂速度加快。仿真實驗證明了本文算法在平穩(wěn)及非平穩(wěn)環(huán)境下具有比LMS 和RLS更好的分離性能。關(guān)鍵詞 動量項 , 非線性主成分分析 , 自適應(yīng) , 盲源分離A new NPCA algorithm for blind source separationAbstract This paper addresses the problem of b

2、lind source separation (BSS) and presents an optimum momentum factor which makes the nonlinear principal component analysis (NPCA) cost function descend in the fastest way. By using the momentum item in self-stabilized NPCA algorithm, the new algorithm minimums the contradiction between convergence

3、speed and steady-state error. Simulations show that the new algorithm has faster convergence than the existing least-mean-square（LMS）algorithms and recursive least-squares (RLS) algorithm for BSS in stationary and non-stationary environments.Key words momentum factor , NPCA , adaptive , blind source

4、 separation盲源分離是指從未知觀測信號的線性混合信號中恢復(fù)出相互獨立的源信號，線性混合系數(shù)是未知的。由于這是實際應(yīng)用中經(jīng)常遇到的問題，近年來盲源分離在信號處理和通信方面引起廣泛關(guān)注?，F(xiàn)有的盲源分離算法分為批處理算法和自適應(yīng)算法兩大類。批處理算法復(fù)雜度高，需要對大量數(shù)據(jù)進行統(tǒng)計處理，自適應(yīng)算法復(fù)雜度低，對數(shù)據(jù)邊輸入邊處理，具有可以實現(xiàn)混合信號在線處理的實時性特點，故自適應(yīng)在線算法得到廣泛研究和應(yīng)用。盲源分離算法中非線性主分量分析法采用自適應(yīng)算法，同大多數(shù)算法一樣存在收斂速度和穩(wěn)態(tài)誤差沖突的問題。為緩和這一沖突，通過改變步長參數(shù)使兩者平衡, 但變步長算法通常需要引入多個調(diào)節(jié)參數(shù), 調(diào)節(jié)參

5、數(shù)具有不確定性且部分算法易陷入局部極小點, 不能實現(xiàn)對于突變環(huán)境的快速跟蹤，因此本文提出通過引入動量項來加快收斂速度。但是固定動量因子過大時可能導(dǎo)致發(fā)散，過小時可能算法收斂太慢。針對這一問題，本文提出通過對動量因子進行優(yōu)化，基于傳統(tǒng)最小均方算法（LMS）和動量項LMS算法推導(dǎo)出使算法的收斂速度和穩(wěn)態(tài)誤差之間矛盾最小化的最優(yōu)化動量因子迭代公式。仿真實驗證明了本文算法在平穩(wěn)及非平穩(wěn)環(huán)境下具有比LMS 和RLS更好的分離性能。1 基于NPCA的盲源分離的描述噪聲通常符合高斯分布，可忽略。盲源分離問題可用如下方程式表示： (1)其中，是未知的滿秩（）的混合矩陣，是無法觀察的獨立源信號的向量，源信號至多

6、一個是高斯信號。是觀測信號組成的向量。盲源分離的目的是通過線性變換處理每個觀測信號得到輸出向量： (2)由上述可知，當(dāng)完全實現(xiàn)盲源分離時，合成矩陣是一個廣義置換矩陣（即矩陣每行每列只有一個非零元素）。分離矩陣可以由一層或者兩層分離系統(tǒng)確定，第一種方法是直接最小化目標函數(shù)更新，第二種方法稱為非線性主分量分析法，是首先用白化矩陣對觀測數(shù)據(jù)進行白化處理使白化信號滿足，然后用正交矩陣實現(xiàn)信號分離。因此，總分離矩陣。本文主要討論NPCA算法。考慮分離矩陣的正交約束性，可以得到兩種NPCA算法。一種是基于自然梯度NPCA算法： (3)另一種是自適應(yīng)NPCA算法： (4)上述(3)和(4)算法可以統(tǒng)一改寫為

7、形如： 其中，是與尋找方向相關(guān)的矩陣，由1,9理論分析和仿真結(jié)果顯示了(4)優(yōu)于算法(3)，從而最好選擇。算法(3)和(4)都屬于LMS算法。2 傳統(tǒng)融合動量項LMS算法在LMS算法基礎(chǔ)上，引入動量項可加快算法的收斂速度，提高系統(tǒng)性能。神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，動量項技術(shù)通過在當(dāng)前時刻算法的自適應(yīng)迭代規(guī)則中加入前一時刻抽頭系數(shù)的更新量，目的是提高系統(tǒng)收斂效率和跟蹤速度、改善算法輸出性能。動量項技術(shù)具有計算量小、動量因子上下邊界極值確定、且能有效加速系統(tǒng)收斂速度和避免算法陷入局部極小值等優(yōu)點，近年來在信號處理領(lǐng)域也正逐漸得到學(xué)者們的重點關(guān)注。為了進一步提高算法的收斂速度，從而改善盲源分離算法分離性能，借鑒

8、動量項技術(shù)的思想，在LMS算法中引入動量項，提出融合動量項LMS算法。算法結(jié)構(gòu)圖如下：圖 1 傳統(tǒng)融合動量項LMS算法結(jié)構(gòu)圖Fig. 1 Illustration of the traditional LMS algorithm 其核心數(shù)學(xué)表達式： (5)其中，動量項，為動量項因子，取值范圍。動量項能夠記憶分離矩陣的前一時刻變化方向，即時刻分離矩陣由時刻和時刻分離矩陣的變化方向共同決定，當(dāng)上兩次分離矩陣的變化方向相同時，說明算法處于收斂過程中，通過式(5)則會增大時刻分離矩陣的變化量，從而可以使算法快速收斂；而當(dāng)兩次分離矩陣的變化方向不同時，說明算法處于穩(wěn)態(tài)階段，則通過式(5)可以減少分離矩陣

9、的變化量，從而起到避免分離矩陣陷入局部極小值的作用。3 優(yōu)化動量因子LMS算法 在融合動量項LMS算法基礎(chǔ)上，對動量因子進行優(yōu)化獲得最優(yōu)動量因子，使算法收斂速度和穩(wěn)態(tài)誤差之間矛盾最小化，這就構(gòu)成了本文提出的新算法。NPCA的代價函數(shù)： (6)其中，為非線性函數(shù)，信號符合亞高斯時選擇，信號符合超高斯時選擇。利用“投影近似”，上式中，為非線性變換的向量，從而得到更新代價函數(shù)： (7)將(5)代入(7)有如下關(guān)于的方程： (8)其中，上式明顯是關(guān)于動量因子的二次函數(shù)，因此有唯一的極值，令上式對求導(dǎo)的結(jié)果為零，得到最優(yōu)化動量因子： (9)考慮最優(yōu)動量因子的在線可實現(xiàn)性，引入兩個輔助變量來代替數(shù)學(xué)期望，

10、這時(9)改為： (10) 其中，將變動量因子(10)應(yīng)用于(5)，得到本文優(yōu)化動量因子LMS算法，算法過程為： (11)另外，若分離矩陣無任何先驗信息，則初始化為階 單位方陣，考慮算法計算量，自適應(yīng)NPCA非線性操作量是相同的，(4) 每次迭代需要次乘法計算，(5) 每次迭代需要次乘法計算，1需要次乘法計算，新算法(11)每次迭代需要，該算法計算量比傳統(tǒng)LMS算法要大，但是在容忍范圍內(nèi)。該算法結(jié)構(gòu)圖如圖2所示： 圖 2 本文算法結(jié)構(gòu)圖Fig. 2 Design of the New LMS algorithm4 仿真結(jié)果下面通過計算機仿真驗證本文算法的整體性能，考慮5個源信號分別為：其中，=

11、區(qū)間內(nèi)均勻分布的源信號，仿真中混合矩陣通過隨機產(chǎn)生，對混合信號的采樣頻率為10kHz。傳統(tǒng)LMS算法中步長均設(shè)置為0.01，動量因子取值0.7，新算法(11)中步長設(shè)置為0.06，取值0.01，取值0.3。對于RLS算法1，遺忘因子取值0.983。為估計盲源分離算法的性能，可用串音誤差作為性能指標： (12)其中，是混合白化分離矩陣的結(jié)合矩陣，的值越大，算法分離性能越差，越小性能越好。為估計分離矩陣與正交性的絕對偏差，可用距離指數(shù)作為指標： (13)其中，是由對角線元素組成的對角矩陣，為矩陣的范數(shù)。平穩(wěn)環(huán)境即混合矩陣始終保持不變，20次蒙特卡洛實驗后結(jié)果如圖3、圖4和圖5，非平穩(wěn)環(huán)境即混合矩陣

12、在某時刻發(fā)生突變，算法仿真結(jié)果如圖6、圖7和圖8。如圖3、圖4和圖5分別顯示了在平穩(wěn)環(huán)境情況下各算法的性能、偏離距離和性能與乘法計算量的關(guān)系。圖6、圖7和圖8分別繪制了在非平穩(wěn)環(huán)境情況下(在2000次迭代時環(huán)境突變)各算法的性能、偏離距離和性能與乘法計算量的關(guān)系。從這些圖中，可以看出：(1) 平穩(wěn)環(huán)境和非平穩(wěn)環(huán)境下，每次引入優(yōu)化動量因子的迭代，新算法(11)的收斂速度明顯快于原來的算法 (4)和(5)，甚至比基于自然梯度RLS算法稍微快一點；(2) 平穩(wěn)環(huán)境和非平穩(wěn)環(huán)境下，新算法的分離矩陣更快更好的與正交性重合，環(huán)境突變時，由圖(7)看出對分離矩陣的偏離性影響不大;(3) 平穩(wěn)環(huán)境和非平穩(wěn)環(huán)境

13、下，在計算量相同時，與其它算法相比，本文算法(11)性能指標最低，分離性能最好。另外，RLS 算法比LMS算法分離性能好。圖3 算法收斂性能(平穩(wěn)環(huán)境)Fig. 3 Average performance index versus iteration number(stationary environment) 圖4 分離矩陣偏離正交性(平穩(wěn)環(huán)境)Fig. 4 Average deviations of the separation matrix away from orthogonality(stationary environment) 圖5 相對于計算量的算法特性Fig. 5 Avera

14、ge performance index versus Operations (stationary environment)圖6 算法收斂性能(非平穩(wěn)環(huán)境)Fig. 6 Average performance index versus iteration number(non-stationary environment)圖7 分離矩陣偏離正交性(平穩(wěn)環(huán)境)Fig. 7 Average deviations of the separation matrix away from orthogonality(non-stationary environment)圖8 相對于計算量的算法特性Fig

15、. 8 Average performance index versus Operations (non-stationary environment)5 結(jié)論 在LMS算法基礎(chǔ)上引入動量項，然后利用投影近似和相鄰時刻代價函數(shù)相減法，得到關(guān)于動量因子的二次函數(shù)，求極值得到最優(yōu)動量因子，從而使代價函數(shù)最速下降，提高了算法收斂速度。在線盲源分離仿真實驗結(jié)果驗證了算法的可實現(xiàn)性，并同時仿真了傳統(tǒng)LMS算法和RLS算法。 References1 X. Zhu, X. Zhang, Adaptive RLS algorithm for blind source separation using a na

16、tural gradient, IEEE Signal Process. Lett. 9(12)(2002)432-435.2 Coviello C M, Yoon P A, Sibul L H. Source separation and tracking for time-varying systems. IEEE Transactions on Aerospace and Electronic Systems, 2008, 44(3): 1198-12143 Douglas S C, Cichocki A. Adaptive step size techniques for decorr

17、elation and blind source separation. In: Proceedings of the 32th Asilomar Conference on Signals, Systems, and Computers. Paci¯c Grove, USA: IEEE, 1998. 1191-11954 Ou S F, Zhao X H, Gao Y. Variable step size technique for adaptive blind decorrelation. In: Proceedings of the 8th ACIS Internationa

18、l Conference on Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing. Qingdao, China: IEEE, 2007. 823-8265 Yuan L X, Wang W W, Chambers J A. Variable step-size sign natural gradient algorithm for sequential blind source separation. IEEE Signal Processing Letters, 2005, 12(8):589-5926 Hsieh S T, Sun T Y, Lin C L, Liu C C. Effective learning rate adjustment of blind source separation based on an improved particle swarm optimizer. IEEE Transactions on Evolutionary Computation, 200