基于K近鄰的支持向量機多模型建模

1、基于K近鄰的支持向量機多模型建模主講人：劉振主講人：劉振 15721534 15721534基于K近鄰的支持向量機的多模型建模支持向量機多模型建模支持向量機多模型建模支持向量機多模型建模支持向量機多模型建模 支持向量機（Support Vector Machine，SVM)作為一種新興的基于統(tǒng)計學理論的學習機，相對于神經(jīng)網(wǎng)絡(luò)的啟發(fā)式學習方式和實現(xiàn)中帶有很大的經(jīng)驗成分相比，SVM具有更嚴格的理論和數(shù)學基礎(chǔ)，可以克服局部最小問題 , 解決小樣本學習的泛化能力 , 不過分依賴樣本的數(shù)量和質(zhì)量 ，所以它特別適用于解決小樣本、非線性、高維數(shù)、局部極小點等問題。鑒于化工領(lǐng)域中大部分過程建模數(shù)據(jù)屬于小樣本、

2、不適定問題，因此，支持向量機在化工過程建模中得到了廣泛的應(yīng)用。K K近鄰分類算法近鄰分類算法 K近鄰法(KNN，k-Nearest Neighbor)是由 C o v e r 和 Ha r t 于 1968年提出的 ,其核心思想是如果一個樣本在特征空間中的k個最相鄰的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別，并具有這個類別上樣本的特性。該方法在確定分類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。 kNN方法在類別決策時，只與極少量的相鄰樣本有關(guān)。K K近鄰分類算法近鄰分類算法實現(xiàn)步驟1. 準備數(shù)據(jù)，對數(shù)據(jù)進行預處理2. 選用合適的數(shù)據(jù)結(jié)構(gòu)存儲訓練數(shù)據(jù)和測試元

3、組 3. 設(shè)定參數(shù)，如k 4. 維護一個大小為k的的按距離由大到小的優(yōu)先級隊列，用于存儲最近鄰訓練元組。隨機從訓練元組中選取k個元組作為初始的最近鄰元組，分別計算測試元組到這k個元組的距離，將訓練元組標號和距離存入優(yōu)先級隊列 5. 遍歷訓練元組集，計算當前訓練元組與測試元組的距離，將所得距離L 與優(yōu)先級隊列中的最大距離Lmax 6. 進行比較。若L=Lmax，則舍棄該元組，遍歷下一個元組。若L =0，回歸估計問題轉(zhuǎn)化為：支持向量機支持向量機優(yōu)化目標式變?yōu)樽钚』痬iiiCwJ1221常數(shù)C0標準不敏感支持向量回歸機miiiCw12*21min0*,. .*iiiiiiiiybxwbxwyts采用

4、對偶原理轉(zhuǎn)化為二次規(guī)劃問題，建立拉格朗日方程miiiiimiiiiimiiiiimiiiiibxwybxwyCwwl11112*21,支持向量機支持向量機根據(jù)Karush-Kuhn-Tucker(KKT)條件可以得出 ,位于不敏感區(qū)內(nèi)的樣本點相對應(yīng)的 i和 i 都等于零 ,外部的點對應(yīng)有 i =C或 i =C , 而在邊界上 , i和 i 均為零 ,因而 i , i ( 0, C ) , 從而有CxwybCxwybiiiiii, 0, 0,*與 i 0和 i 0相對應(yīng)的樣本 x i,即在不靈敏區(qū)邊界上或外面的樣本 , 稱為支持向量 。進一步得到 bxxxfiSVii*f ( x )可表示成iS

5、Vsiiiimiiixxw*1支持向量機支持向量機 對于非線性情況對于非線性情況， SVM的基本思路是通過引入核函數(shù)(Kernel Function)，將輸入空間的數(shù)據(jù)通過非線性映射(x)，映射到高維的特征空間(Hilbert空間)中，然后在特征空間中進行線性地處理。設(shè)核函數(shù)K(x，x)滿足 根據(jù)核函數(shù)的定義，引入核函數(shù)K(x，x)就可以實現(xiàn)某一非線性變換后的線性變換，假設(shè)非線性模型為 ,xxxxK回歸方程為 bxxKbxwxfiSVii* bxwwxf, imiiixw1)(*支持向量機支持向量機SVM的優(yōu)點： 可以解決小樣本情況下的機器學習問題。可以提高泛化性能?？梢越鉀Q高維問題?？梢越鉀Q

6、非線性問題。 可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點問題。缺點極其解決方法： (1) SVM算法對大規(guī)模訓練樣本難以實施 其主要改進有SMO、PCGC、CSVM以及SOR算法(2) 用SVM解決多分類問題存在困難 可以通過多個二類支持向量機的組合來解決。主要有一對多組合模式、一對一組合模式和SVM決策樹；再就是通過構(gòu)造多個分類器的組合來解決。主要原理是克服SVM固有的缺點，結(jié)合其他算法的優(yōu)勢，解決多類問題的分類精度。如：與粗集理論結(jié)合，形成一種優(yōu)勢互補的多類問題的組合分類器?；诨趉 k近鄰的支持向量機多模型近鄰的支持向量機多模型 K近鄰算法將樣本認為是對應(yīng)于多維空間中的各個點 ,一個新的樣本

7、所屬的類別是根據(jù) K個與其最接近的訓練樣本的分類情況估計得到 。我們這里使用 K近鄰算法 ,不是用于確定測試樣本所屬的類別 ,而是將其作為支持向量機子模型輸出結(jié)果的組合參數(shù) 。由 K近鄰算法計算得到測試樣本屬于各類別的比例系數(shù) , 將該比例系數(shù)作為各類別支持向量機子模型的輸出權(quán)重 , 經(jīng)加權(quán)組合后得到軟測量模型的總輸出 ?；诨趉 k近鄰的支持向量機多模型近鄰的支持向量機多模型設(shè)樣本集為 其中xi為n維輸入，yi為1維輸出。liyxiii,.,2 , 1,p具體的算法步驟如下具體的算法步驟如下 :1. 根據(jù)主元分析的結(jié)果 ,采用簡單距離分類方法將所有訓練樣本數(shù)據(jù)分為 c 類 ,并對訓練樣本標

8、記對應(yīng)類標簽 。2. 將測試樣本與所有訓練樣本進行比較 ( 比較指計算測試樣本與訓練樣本之間的距離 ) , 得到最近鄰的 K個距離 。 利用歐式距離 但當核函數(shù)為高斯核或指數(shù)核時, 可更簡單地采用距離公式: 21,2,jjjiiijijixxKxxKxxKxxxxD jiTjijijixxxxxxxxd,基于基于k k近鄰的支持向量機多模型近鄰的支持向量機多模型3. 根據(jù)得到的K個距離Dj(j=1,2,K)中各類標簽的數(shù)目ns,計算測試樣本屬于各類別的權(quán)重系數(shù)為 s=1,2,cKnWss其中n1+n2+nj+ns=K 。4. 測試樣本經(jīng)過所有子模型，將上式表示的權(quán)重系數(shù)作為各子模型輸出Yi的組

9、合系數(shù)，從而得到最終的測試樣本輸出SiWYY這種改進方法的優(yōu)點是考慮了所有訓練樣本對測試樣本的影響 , 最大程度地保留了樣本類別信息 ,可以有效地利用支持向量機所有子模型的有效信息?；诨趉 k近鄰的支持向量機多模型近鄰的支持向量機多模型其模型為其模型為輸入向量xKNN分類器類別1子模型類別2子模型類別c子模型+YY2Y1YcWcW2W1實例仿真實例仿真 利用此方法對雙酚A生產(chǎn)過程中的融化罐苯酚含量進行在線估計。苯酚和丙酮在酸性介質(zhì)下可生成雙酚A，為使丙酮充分轉(zhuǎn)化成BPA,因此必須用過量苯酚參與反應(yīng),以減少生成三苯酚（雜質(zhì)）。丙酮含量比重過高,就會生成大量的副產(chǎn)物如丙酮的縮合物(異丙叉丙酮、

10、雙異丙叉丙酮)等。由于苯酚、丙酮的價格較貴,所以BPA生產(chǎn)的經(jīng)濟性很大程度上取決于副產(chǎn)物的數(shù)量及其合理利用，所以需要對融化罐苯酚含量進行預估。實例仿真實例仿真將現(xiàn)場采集的數(shù)據(jù)經(jīng)數(shù)據(jù)預處理后得到 245組樣本 , 選擇 163 組數(shù)據(jù)作為訓練樣本 , 82組數(shù)據(jù)作為測試樣本。根據(jù)主元分析方法 , 計算輸入數(shù)據(jù)的各個屬性對輸出數(shù)據(jù)的影響度 , 按照影響度的大小將屬性排序 ,如圖所示：對輸出數(shù)據(jù)主元貢獻率較大的屬性為第三屬性和第二屬性 , 將所有訓練樣本按第三屬性的均值為界限分為兩類 ; 在分好的兩類中再以第二屬性的均值為界限各分兩類 ,即將整個訓練樣本分為 4類 , 對這 4個類別的數(shù)據(jù)分別建立

11、SVM子模型 。實例仿真實例仿真利用KNN方法計算測試樣本屬于各類別的權(quán)重 , 取 K =80。 為比較各種不同方法的建模效果 , 文中分別采用單一 SVM模型 、基于 K近鄰分類的多模型和文中提出的基于 K近鄰的SVM多模型方法進行比較 。 3種模型建立方法得到的測試誤差如下表所示 ：結(jié)論：基于結(jié)論：基于 K N K N NN分類方法的支持向量機多模型可以有分類方法的支持向量機多模型可以有效地改進模型性能，對效地改進模型性能，對泛化性能也有一定改善泛化性能也有一定改善 。 參考文獻1 王永吉.基于K近鄰的支持向量機多模型建模J.江南大學學報，2010,9(1)：7-102和文全.基于K近鄰的支持向量機分類方法J.計算機仿真，2008,25(11)：161-1633張國英.基于粒