改進(jìn)的粒子群優(yōu)化算法及其在軟測量中的應(yīng)用

1、改進(jìn)的粒子群優(yōu)化算法及其在軟測量中的應(yīng)用王改堂1，李平2,蘇成利2 (1.西北工業(yè)大學(xué)自動化學(xué)院, 陜西 西安710072;2.遼寧石油化工大學(xué)信息與控制工程學(xué)院, 遼寧 撫順 113001)摘要：針對粒子群優(yōu)化算法不易跳出局部最優(yōu)的缺點，提出了一種自適應(yīng)變異的動態(tài)粒子群優(yōu)化算法。該算法除了采用動態(tài)慣性權(quán)重外，還引入了自適應(yīng)學(xué)習(xí)因子和新的變異算子。通過對幾種典型函數(shù)的優(yōu)化問題進(jìn)行測試，結(jié)果表明：與動態(tài)改變慣性權(quán)重的自適應(yīng)粒子群算法(DCW)算法和PSO算法相比，新算法具有很強(qiáng)的全局搜索能力,收斂速度和收斂精度也有所提高。然后，用該算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并將其用于延遲焦化汽油干點軟測量建模，仿真結(jié)果

2、表明該算法具有較高的預(yù)測精度和良好的泛化性能。關(guān)鍵詞：粒子群優(yōu)化算法；自適應(yīng)變異；軟測量；神經(jīng)網(wǎng)絡(luò)；汽油干點中圖分類號：TP202+.7 文獻(xiàn)標(biāo)識碼：AAn Improved Particle Swarm Optimization Algorithm and Its Application in Soft Sensor Modeling WANG Gai-tang1 LI Ping2 SU Cheng-li2(1.School of Automation, Northwestern Polytechnical University, Xian Shanxi 710072, China; 2.

3、School of Information and Control Engineering, Liaoning ShiHua University, Fushun Liaoning 113001, China)ABSTRACT：Presented is a dynamic particle swarm optimization algorithm based on adaptive mutation, to solve the problem that particle swarm optimization algorithm is apt to trap in local mini

4、mums. Besides that it makes use of adaptive inertia weight, adaptive term coefficients and new mutation operator were introduced to the algorithm. The proposed algorithm are used to resolve the optimization problems of several standard test functions, and the result shows that the new algorithm has

5、great global search ability, convergence accuracy and convergence velocity is also increased than PSO and DCW (adaptive particle swarm algorithm with dynamically changing inertia weigh) algorithm. Then, the algorithm is employed to train artificial neural network and applied to soft-sensing of gasol

6、ine end point in delayed coking. The simulation results show that the algorithm has better predict precision and good generalization performance. KEYWORDS：particle swarm optimization; adaptive mutation; soft sensor; neural network; gasoline end point1引言基金項目：遼寧省高等學(xué)校優(yōu)秀人才支持計劃資助(2008RC32);遼寧省高校創(chuàng)新團(tuán)隊支持計劃資

7、助(2007T103,2009T062);遼寧省教育廳科技計劃資助項目(2008386)基金項目：遼寧省高等學(xué)校優(yōu)秀人才支持計劃資助(2008RC32);遼寧省高校創(chuàng)新團(tuán)隊支持計劃資助(2007T103,2009T062);遼寧省教育廳科技計劃資助項目(2008386)粒子群優(yōu)化（Particle Swarm Optimization, PSO)算法是1995年提出的一類基于群體智能的隨機(jī)優(yōu)化算法1。與遺傳算法和蟻群算法等全局優(yōu)化算法相比，粒子群優(yōu)化算法具有收斂速度快、設(shè)置參數(shù)少、算法簡單、容易實現(xiàn)等特點，因此廣泛地被應(yīng)用于系統(tǒng)辨識2-3、神經(jīng)網(wǎng)絡(luò)訓(xùn)練4等領(lǐng)域。但該算法同樣存在早熟收斂和后期振

8、蕩現(xiàn)象等缺陷，針對這些問題國內(nèi)外學(xué)者提出了各種各樣的改進(jìn)算法5-10。在粒子群優(yōu)化算法的可調(diào)整參數(shù)中，慣性權(quán)重是一個重要參數(shù)，該參數(shù)取值的好壞直接關(guān)系到算法的性能。關(guān)于慣量權(quán)重如何取值，如何調(diào)整的問題，文獻(xiàn)6提出了慣量權(quán)重線性遞減(Linearly Decreasing Weight，LDW)的調(diào)整方法，但該算法不能適應(yīng)復(fù)雜的非線性優(yōu)化搜索過程的問題。為了解決這一問題，文獻(xiàn)8提出了動態(tài)改變慣性權(quán)重的自適應(yīng)粒子群算法(DCW)，在該算法中引入了粒子群進(jìn)化速度因子和聚集度因子兩個參數(shù)來動態(tài)調(diào)節(jié)慣性權(quán)重。文獻(xiàn)5實驗結(jié)果表明：DCW算法的收斂速度明顯優(yōu)于LCD，收斂精度也有所提高,但DCW算法跳出局部

9、搜索的能力比LCD算法差。文獻(xiàn)8也指出粒子群中的所有粒子具有同一性時,如果此時算法陷入局部最優(yōu),則結(jié)果不容易跳出該局部極值點。為解決了DCW算法不易跳出局部搜索能力的缺點，本文提出了一種基于自適應(yīng)變異的動態(tài)粒子群優(yōu)化算法。由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性擬合能力，成為目前最流行的一種軟測量建模方法且廣泛地應(yīng)用于軟測量建模中11-14。針對梯度下降學(xué)習(xí)方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)具有收斂速度慢或易陷入局部最小等的缺陷，本文采用改進(jìn)的粒子群優(yōu)化算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)，并將它應(yīng)用到延遲焦化汽油干點的軟測量建模中，取得了滿意的效果。2 DCW算法粒子群優(yōu)化算法首先初始化一群隨機(jī)粒子,然后通過迭代找到最優(yōu)解。在每

10、一次迭代中,每個粒子跟蹤個體最優(yōu)值、全局最優(yōu)值和前一時刻的狀態(tài)來更新當(dāng)前時刻的位置和飛行速度，其迭代公式如下8： (1) (2)其中：是粒子的速度,是粒子的當(dāng)前位置,是粒子通過跟蹤當(dāng)前自身找到的個體最優(yōu)值,整個種群找到的全局最優(yōu)值,為0,1之間的隨機(jī)數(shù), 學(xué)習(xí)因子為非負(fù)常數(shù)。為動態(tài)慣性權(quán)重因子，表示為進(jìn)化速度和聚集度的函數(shù)8,即： (3)其中： (4) (5)式中,為上一次迭代的全局最優(yōu)值,為當(dāng)前迭代的全局最優(yōu)值，為所有粒子當(dāng)前適應(yīng)度值的平均值。參數(shù)反映了粒子群進(jìn)化速度，參數(shù)反映了所有粒子當(dāng)前的聚集程度,同時在一定程度上也反映出粒子的多樣性。文獻(xiàn)8指出,當(dāng)時,粒子群中的所有粒子具有同一性,如果

11、此時算法陷入局部最優(yōu),則結(jié)果不容易跳出該局部極點。文獻(xiàn)5指出,與進(jìn)化速度因子呈反向關(guān)系，與聚集度因子呈正向關(guān)系，公式表示如下： (6)式中,為的初始值，一般。和分別為和的比例因子,的取值范圍在0.4-0.6之間，的取值范圍在0.05-0.2之間。3自適應(yīng)變異的動態(tài)粒子群優(yōu)化算法在改進(jìn)的算法中，有兩個較為關(guān)鍵的問題：一個就是確定變異的合適時機(jī)，另一個是如何對符合變異條件的粒子進(jìn)行變異。文獻(xiàn)10表明，粒子群優(yōu)化算法無論出現(xiàn)全局收斂還是早熟收斂,粒子群中的粒子將聚集在搜索空間的一個或幾個特定位置,此時群體適應(yīng)度方差等于零。群體適應(yīng)度方差等于零只是表明算法已達(dá)到全局收斂或局部收斂，僅憑這一點不能判斷算

12、法是否陷入局部收斂，還要根據(jù)此時得到的最優(yōu)解與理論全局最優(yōu)解(或期望最優(yōu)解)做比較,才可以判斷出此時得到的最優(yōu)解是全局極值還是局部極值。如果判斷出算法已經(jīng)趨于局部收斂時，想辦法讓粒子脫離開這種“聚集”現(xiàn)象，進(jìn)入其它的搜索區(qū)域進(jìn)行搜索，最終算法就可能發(fā)現(xiàn)新的個體極值和全局極值。如此循環(huán)下去，算法就更有望找到全局最優(yōu)解?？紤]到改進(jìn)算法運算的高效、快速性，所以對滿足變異條件的按一定的概率變異，計算公式10如下： (7)式中,k可以取0.1,0.3之間的任意數(shù)值。的取值與實際問題有關(guān),一般遠(yuǎn)小于的最大值。可以設(shè)置為理論最優(yōu)解或期望最優(yōu)解。如果算法已陷入局部收斂，這就需要對出現(xiàn)“聚集”現(xiàn)象的粒子進(jìn)行變異

13、操作，使其進(jìn)入其它的搜索區(qū)域進(jìn)行搜索。本文將采用新的隨機(jī)擾動的變異策略方法，設(shè)為的第k維取值,是服從正態(tài)分布的隨機(jī)變量，則： (8)綜上所述,本文提出算法的步驟如下：步驟1:初始化,和，置,=0和=0。步驟2:初始化粒子的位置向量、速度向量,計算粒子的適應(yīng)度。步驟3:初始化粒子的全局最優(yōu)值和個體最優(yōu)值，并將粒子的設(shè)置為當(dāng)前位置,設(shè)置為初始群體中最佳粒子的位置。步驟4:如果算法滿足收斂準(zhǔn)則或達(dá)到最大迭代次數(shù),執(zhí)行步驟11,否則,執(zhí)行步驟5。步驟5:對于粒子群中的所有粒子,執(zhí)行如下操作：計算所有粒子的平均適應(yīng)度，并根據(jù)文獻(xiàn)9計算自適應(yīng)學(xué)習(xí)因子。根據(jù)式(1)、(2)和(6)更新粒子的位置與速度。如果

14、粒子適應(yīng)度優(yōu)于的適應(yīng)度,設(shè)置為新位置.如果粒子適應(yīng)度優(yōu)于的適應(yīng)度,設(shè)置為新位置. 步驟6:計算群體適應(yīng)度方差10和。步驟7:根據(jù)式(7)計算變異概率pm。步驟8:產(chǎn)生隨機(jī)數(shù)r0,1,如果r<pm,按式(8)執(zhí)行變異操作;否則,轉(zhuǎn)向步驟9。步驟9:根據(jù)式(4)和式(5),分別計算和。步驟10:將迭代次數(shù)加1,并執(zhí)行步驟4。步驟11: 輸出,算法結(jié)束。4仿真實驗為了驗證提出算法的有效性,本文對測試函數(shù)：Rosenbrock函數(shù)、Rastrigrin函數(shù)和Schaffer f6函數(shù)的優(yōu)化問題進(jìn)行測試。其中這三個函數(shù)用遺傳算法優(yōu)化難度均較大,通常被用來比較算法的性能。 Rosenbrock函數(shù)，

15、即；Rastrigrin函數(shù)，即；Schaffer f6函數(shù)，即其中，Rosenbrock函數(shù)和Rastrigrin函數(shù)都有一個全局極小點,其函數(shù)值為0,這兩個函數(shù)經(jīng)常用來評價粒子群算法的收斂速度。Schaffers f6有一個全局極大解1,Schaffers f6函數(shù)的全局最優(yōu)點被一圈局部最優(yōu)點包圍,算法極易陷入局部最優(yōu)點,所以經(jīng)常用來評價算法跳出局部最優(yōu)的能力。在運行過程中，取,對于Rosenbrock函數(shù)和Rastrigrin函數(shù),粒子維數(shù)分別為8和10,粒子規(guī)模取為30,最大迭代次數(shù)分別為200和1000。對于Schaffers f6函數(shù),粒子維數(shù)為2,最大迭代次數(shù)為200。本文將改進(jìn)

16、的算法與DCW算法、PSO算法進(jìn)行了比較，對于Schaffers f6函數(shù)的實驗結(jié)果，本文提出的算法從第6次迭代開始結(jié)果就為1，而DCW在第95次迭代其結(jié)果才為1。結(jié)果如表1和圖1-圖3所示。表1 三種算法的運行結(jié)果比較函數(shù)理論最優(yōu)解PSODCW本文改進(jìn)的算法0014.1379e+003426.12010.9902818.1124258.376810.2097 (, k=0.3)0 (, k=0.3)1 (,k=0.3) 圖1 Rosenbrock函數(shù)尋優(yōu)曲線 圖2 Rastrigrin函數(shù)尋優(yōu)曲線 圖3 Schaffers f6函數(shù)尋優(yōu)曲線從圖2和圖3中可以直觀看出，對于Rastrigrin

17、函數(shù)和Schaffers f6函數(shù)，本文提出的算法收斂速度明顯優(yōu)于DCW算法PSO算法，而且最優(yōu)解也是最好的。對于Rosenbrock函數(shù)，從圖1中可以看出PSO算法的最優(yōu)解最差。從表1中可以看出，本文提出的改進(jìn)算法收斂精度遠(yuǎn)遠(yuǎn)比DCW算法和PSO算法好。5改進(jìn)的算法在延遲焦化汽油干點軟測量中的應(yīng)用5.1 影響因素分析和輔助變量選擇分餾塔的產(chǎn)品組成極其復(fù)雜，在實際生產(chǎn)中，延遲焦化汽油干點無法用機(jī)理方法計算，而是采用離線實驗室分析獲得，但離線分析滯后數(shù)小時，且分析采樣次數(shù)少(8小時/次)，遠(yuǎn)遠(yuǎn)不能滿足控制的要求。因此，采用軟測量技術(shù)建立汽油干點估計模型，對提高裝置的經(jīng)濟(jì)效益是非常必要的。影響延遲

18、焦化汽油干點的因素很多，如分餾塔塔頂溫度、塔頂壓力、汽油抽出量、頂回流溫度、頂回流量、蒸發(fā)段溫度、加熱爐出口溫度、注水量、進(jìn)料溫度、塔頂壓力、塔底溫度等。經(jīng)過全面的工藝機(jī)理分析和與現(xiàn)場工藝人員充分討論的基礎(chǔ)上，確定影響粗汽油干點的最主要因素：分餾塔塔頂溫度(T1)、塔頂壓力(P)、汽油抽出量(F1)、塔頂回流溫度(T2)、塔頂回流量(F2)等5個變量作為輔助變量。用表示汽油干點, 則與上述輔助變量可以表示為如下式(9)的非線性關(guān)系，表示誤差。 (9)式中，為復(fù)雜的多變量非線性函數(shù)。在本文，采用改進(jìn)的粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)擬合函數(shù)。5.2 基于改進(jìn)的粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)汽油干點軟測量將改進(jìn)的粒子群

19、優(yōu)化算法用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并用作延遲焦化汽油干點的軟測量模型。本文采用一個簡單的三層BP神經(jīng)網(wǎng)絡(luò)：輸入層、隱含層、輸出層。網(wǎng)絡(luò)有5個輸入、1個隱含層(隱含層節(jié)點數(shù)為20, 隱含層采用Sigmoid函數(shù)作為激活函數(shù))、1個輸出(即汽油干點，輸出層采用Purelin函數(shù)作為激活函數(shù))，構(gòu)造出結(jié)構(gòu)為5-20-1的神經(jīng)網(wǎng)絡(luò)作為軟測量模型，模型的目標(biāo)函數(shù)為: (10)其中，N為樣本個數(shù),(i =1,2,n)為汽油干點的實際值,(i =1,2,n)為汽油干點模型預(yù)測值。將采集到的330組數(shù)據(jù)經(jīng)過數(shù)據(jù)預(yù)處理后，其中230組用于對改進(jìn)的粒子群神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，本文采用多組參數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過對訓(xùn)練結(jié)果比較

20、，最后確定參數(shù),，粒子數(shù)為30。利用訓(xùn)練得到的模型，用剩余的100組數(shù)據(jù)對所建模型進(jìn)行檢驗，其預(yù)測結(jié)果如圖4(a)所示。采用同樣的數(shù)據(jù)，用DCW算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)(DCWBP)和BP神經(jīng)網(wǎng)絡(luò)對汽油干點進(jìn)行預(yù)測，預(yù)測結(jié)果分別如圖4(b)和圖4(c)所示。圖5為三種算法的的誤差結(jié)果對比圖。表2給出了三種算法的性能比較。從圖4和表1可以看出，利用該模型得到的汽油干點更接近實際值，且均方差RMSE也最小，從而說明該算法具有較高的預(yù)測精度和泛化能力。(a) 本文算法(b)DCWBP算法(c) BP算法圖4檢驗集下幾種算法的預(yù)測結(jié)果與誤差圖5檢驗集下三種算法的預(yù)測誤差對比表2 三種算法的預(yù)測性能比較算法BP

21、DCWBP本文算法RMSE1.25220.94070.53715 結(jié) 論提出了基于自適應(yīng)變異的動態(tài)粒子群優(yōu)化算法。通過對幾種典型函數(shù)優(yōu)化問題進(jìn)行測試，結(jié)果表明該算法具有較好的優(yōu)化性能。改進(jìn)的粒子群神經(jīng)網(wǎng)絡(luò)成功地用于延遲焦化汽油干點的軟測量建模中，與DCWBP和BP算法相比，本文提出的算法具有較高的預(yù)測精度和較好的泛化性能以及良好的應(yīng)用前景。參考文獻(xiàn)：1 Kennedy J, Eberhert R. Particle swarm optimization J. IEEE International Conference on Neural Networks,1995:1942-1942 王峰,邢

22、科義,徐小平.系統(tǒng)辨識的粒子群優(yōu)化方法J.西安交通大學(xué)學(xué)報, 2009,43(2):116-120.3 Mark S Voss,Xin Feng.ARMA model selection using particle swarm optimization and AIC criteriaA.15th Triennial World CongressC.Barcelona,Spain:IFAC,2002.4 Bingxiang Zhong, Debiao Wang, Taifu Li. Application of Optimized Neural Network Based on Partic

23、le Swarm Optimization Algorithm in Fault DiagnosisJ.Proc.8th IEEE (ICCI'09), 2009:476-480.5 張玉芳,薛青松,熊忠陽.基于禁忌搜索的動態(tài)粒子群算法J.計算機(jī)工程與應(yīng)用, 2008,44(24):56-58.6 Shi Y, Eberhart R C. Empirical study of particle swarm optimizationC.Proceedings of the IEEE Congress on Evolutionary Computation,1999:1945-1950.7 王啟付,王戰(zhàn)江,王書亭.一種動態(tài)改變慣性權(quán)重的粒子群