試驗四支持向量機(jī)

1、實驗四：支持向量機(jī)班級姓名學(xué)號指導(dǎo)老師.實驗?zāi)康? .了解基有關(guān)支持向量機(jī)的基本原理2 .能夠使用支持向量機(jī)的代碼解決分類與回歸問題3 .了解圖像分類的基本原理二、實驗的硬件、軟件平臺硬件：計算機(jī)軟件：操作系統(tǒng)win10應(yīng)用軟件：Java三、實驗原理1. LIBSVM使用方法簡介LibSVM是以源代碼和可執(zhí)行文件兩種方式給出的。如果是Windows系列操作系統(tǒng)，可以直接使用軟件包提供的程序，也可以進(jìn)行修改編譯；如果是Unix類系統(tǒng)，必須自己編譯。LIBSVM在給出源代碼的同時還提供了Windows操作系統(tǒng)下的可執(zhí)行文件，包括：進(jìn)行支持向量機(jī)訓(xùn)練的svmtrain.exe；根據(jù)已獲得的支持向量機(jī)

2、模型對數(shù)據(jù)集進(jìn)行預(yù)測的svmpredict.exe；以及對訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)進(jìn)行簡單縮放操作的svmscale.exe。它們都可以直接在DOS環(huán)境中使用。如果下載的包中只有C+勺源代碼，則也可以自己在VC等軟件上編譯生成可執(zhí)行文件。2. LIBSVM使用的一般步驟是：1) 按照LIBSVM軟件包所要求的格式準(zhǔn)備數(shù)據(jù)集；2) 對數(shù)據(jù)進(jìn)行簡單的縮放操作；3) 考慮選用RBF核函數(shù)；4) 采用交叉驗證選擇最佳參數(shù)C與g;5) 采用最佳參數(shù)C與g對整個訓(xùn)練集進(jìn)行訓(xùn)練獲取支持向量機(jī)模型；6) 利用獲取的模型進(jìn)行測試與預(yù)測。3. LIBSVM使用的數(shù)據(jù)格式1)訓(xùn)練數(shù)據(jù)和檢驗數(shù)據(jù)文件格式如下：<lab

3、el><index1>:<value1><index2>:<value2>.其中<label>是訓(xùn)練數(shù)據(jù)集的目標(biāo)值，對于分類，它是標(biāo)識某類的整數(shù)(支持多個類)；對于回歸，是任意實數(shù)。<index>是以1開始的整數(shù)，可以是不連續(xù)的；<value>為實數(shù)，也就是我們常說的自變量。檢驗數(shù)據(jù)文件中的label只用于計算準(zhǔn)確度或誤差，如果它是未知的，只需用一個數(shù)填寫這一欄，也可以空著不填。在程序包中，還包括有一個訓(xùn)練數(shù)據(jù)實例：heart_scale,方便參考數(shù)據(jù)文件格式以及練習(xí)使用軟件。可以編寫小程序，將自己。的數(shù)

4、據(jù)格式轉(zhuǎn)換成這種格式2）Svmtrain和Svmpredict的用法L舊SVM軟件提供的各種功能都是DO階令執(zhí)行方式。我們主要用到兩個程序，svmtrain（訓(xùn)I練建模）和svmpredict（使用已有的模型進(jìn)行預(yù)測），下面分別對這兩個程序的使用方法、各參數(shù)的意義以及設(shè)置方法做一個簡單介紹：（1）Svmtrain的用法：svmtrainoptionstraining_set_filemodel_file一一一Options:可用的選項即表示的涵義如下-ssvm類型：SV根置類型（默認(rèn)0）0-C-SVC1-v-SVC2-一類SVM3-e-SVR4-v-SVR-t核函數(shù)類型：核函數(shù)設(shè)置類型（默認(rèn)2

5、）0-線性：u'v1 -多項式：（r*u'v+coef0）Adegree2 -RBF函數(shù)：exp（-r|u-v|A2）3 -sigmoid:tanh（r*u'v+coef0）- ddegree：核函數(shù)中的degree設(shè)置（默認(rèn)3）- g函數(shù)設(shè)置（默認(rèn)1/k）?r（gama）:核函數(shù)中的- rcoef0：核函數(shù)中的coefO設(shè)置（默認(rèn)0）?-ccost:設(shè)置C-SVC-SVR的參數(shù)（默認(rèn)1）?-SVR和- SVR勺參數(shù)（默認(rèn)0.5）?-SVC,一類SVMff口？-nnu:設(shè)置- SVR?-pe：設(shè)置的值（默認(rèn)0.1）?中損失函數(shù)- mcachesize:設(shè)置cache內(nèi)存

6、大小，以MB為單位（默認(rèn)40）- e:設(shè)置允許的終止判據(jù)（默認(rèn)0.001）?- hshrinking:是否使用啟發(fā)式，0或1（默認(rèn)1）- wiC（C-SVCt的C）（默認(rèn)1）?weight：設(shè)置第幾類的參數(shù)C為weight- vn:n-fold交互檢驗?zāi)Ｊ狡渲?g選項中的k是指輸入數(shù)據(jù)中的屬性數(shù)。option-v隨機(jī)地將數(shù)據(jù)剖分為n部分并計算交互檢驗準(zhǔn)確度和均方根誤差。以上這些參數(shù)設(shè)置可以按照SVM勺類型和核函數(shù)所支持的參數(shù)進(jìn)行任意組合，如果設(shè)置的參數(shù)在函數(shù)或SVM類型中沒有也不會產(chǎn)生影響，程序不會接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確，參數(shù)將采用默認(rèn)值。training_set_file是要進(jìn)

7、行訓(xùn)練的數(shù)據(jù)集；model_file是訓(xùn)練結(jié)束后產(chǎn)生的模型文件，文件中包括支持向量樣本數(shù)、支持向量樣采以及l(fā)agrange系數(shù)等必須的參數(shù)；該參數(shù)如果不設(shè)置將采用默認(rèn)的文件名，也可以設(shè)置成自己慣用的文件名。（2） Svmpredict的用法：svmpredicttest_filemodel_fileoutput_filemodel_file是由svmtrain產(chǎn)生的模型文件；test_file是要進(jìn)行預(yù)測的數(shù)據(jù)文件；Output_file是svmpredict的輸出文件。svm-predict沒有其它的選項。四、實驗內(nèi)容及步驟支持向量機(jī)算法訓(xùn)練分類器：1 .訓(xùn)練數(shù)據(jù)集：見文檔“分類數(shù)據(jù)集.do

8、c”，前150個數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其他數(shù)據(jù)作為測試數(shù)據(jù)，數(shù)據(jù)中“+1”“-1”分別表示正負(fù)樣本。2 .使用代碼中的C-SVCB法和默認(rèn)參數(shù)來訓(xùn)練”分類數(shù)據(jù)集.doc”中所有的數(shù)據(jù)（包括訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)），統(tǒng)計分類查準(zhǔn)率。m命令握示衿：'IsersMIdiiinistratDrXDesktopXlibsui3-20windowa>5vn-train,exe1.txt2ptimizationFinished,Biter=16*u-n,431029bj=-100.877288,rha=D.424462SU=132,nBSU=107DLdln£l>133：JJsersM

9、ldniinistratorXDesktopXlibsui3-20windows>svn-ppedict1.txt23ccuracy86.ftf>67vi<234/2?B)<c1ass1Ficatlon3 .在2的基礎(chǔ)上使用k-折交叉驗證思想來訓(xùn)練分類器并統(tǒng)計分類查準(zhǔn)率：:BsersAdnini£tpatorDesktoplihsuin-3.20windov>s>s«n-train.exe-v10i.txt2ptimlsationfinljhtdjttltfri-133u=0.4S7663bj=-96,023257,rho=0.36097

10、7SU-1雙nBEU-IBUotalnSU=125ptimlaattanfinl3htd,ttitfri,-172u=0.439324bj=-91.326460,rho=0.419186SU-120,nB£U-92otalnSU=120ptimlzattanrtuished,ttltfri1lb?u=0.449487bj=-9.364450.rho=0.475975EU-124,nB£U-96otalnSU=124ptimlsatianfinl4htd,ttltfti-132u=0.419548bj=-86,660809,rho=0.248152SU-115*nB£

11、;U-91otalnSU=115CrvSsUalidationAccurcv81,8519>4 .使用2中的設(shè)置在訓(xùn)練數(shù)據(jù)的基礎(chǔ)上學(xué)習(xí)分類器，將得到的分類器在測試數(shù)據(jù)上進(jìn)行分類預(yù)測，統(tǒng)計查準(zhǔn)率5 .在4上嘗試不同的C值（“-c”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率曲線。m晶令媼示符口：sersMldniinistratorDes<CopXlibsunt-3-20windows>su(ntrain.exe-c0.51.txt2ptinlzationfinishedAlter'131u=0.492462bj=-56.S2S4H1.pho=0.239152SU-14，nBS

12、U-125otaln£U=144MsepssAdminL£tratDrxDesktopMihsum-320uindous>sumtpain.ext-c11.txt2ptinizati.anFin-1b2u=0.431029bj=-100.877288,rhu=0,424462EU-13Z,nBSU-107tainSU=132：MJ£apsAdnlnistv&tai*Deskt：dpMihsun-3«20uindnu&>sun-tnain-e1*51,txt2ptinizationFinished,ttiter=166u-0.，

13、的6ysbj=-142.131581,pho=0.474903SU=126knBSV=97ot«ln£U-±2&C：ilsersdministFatorXDesktopXlihsuii-3.20windows>suin-train.exe-c21.txt2*aptimlzatianfiniislied,ttitar22t)nu=0.388793obj=-181,110841,rho=F),433596i£U-123.nBSU-90FotalnSU=123C：UseP5AdministFatDrxDe5ktoplihsuii-3.20uind

14、ous>sun)-trLain.exe-c2.51.txt2*aptinizationFinished*=239nu=0.377fll5obj=-218.307424,rho=0.453258iSU-12燈，nBSU-84FotalnSU=1206 .嘗試不同的kernel函數(shù)（“-t”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率曲線，對每種kernel函數(shù)嘗試調(diào)節(jié)其參數(shù)值并評估查準(zhǔn)率。：MlsepsMldniinistpatc*rDesktQplibsui3,20windows>svn-tpain.exe-t01,txt2*ptifiizationfinishedrttiter=1010

15、u=35另371bj-92,4733Et,pRb-SU=101,nBSU=88n“l(fā)nSU=101：SUsepsdministratorSDesktopXlihsuii-3-20windows>sum-tpain.exe-t11.txt2ptimlEationfinishEd,ttitar14日u=0.605080bj=-131.800243,r加=-0,16568B£U-177,nBSU-15totalnSU=17?：U5ersAdministpatDrxDesktaplihsuin-3.20uindaus>Gun)-trLain.exe-t21.txt2ptiniza

16、tionfinished,=162u-0.431029bj=-100.877288,rho=0.424462SU=132,nBSU=107ot«ln£U-132UverssAdministratDrXDesktapMibsum-3.20w±ndaws>svmtrain-t31«txt2Eiptimizationfinished,ttiter=157iu-0.43£762ibj=-110.099362,pho=-0.333939iSU=124,nBSU=11&otaln£U-124支持向量機(jī)算法訓(xùn)練回歸方程：(1) .回歸

17、數(shù)據(jù)集：見文檔”回歸數(shù)據(jù)集.doc”，總共506個數(shù)據(jù)，數(shù)據(jù)中前13個屬性作為輸入，最后一個屬性作為輸出。：MisersMflldninistratDrxDesJctopXlibsum-3.2Hwinidows>su>iTi-piiedict.exe2.txt2.txt.mode1;eansquarederror=9.681692<resjiressio>fi>quaredcorrelationcoefficicnt-0203485(repression>(2) .使用代碼中的epsilon-SVR算法和默認(rèn)參數(shù)來訓(xùn)練”回歸數(shù)據(jù)集.doc中所有的數(shù)據(jù)，統(tǒng)計回

18、歸方程在每個數(shù)據(jù)點輸出的誤差并進(jìn)行誤差分析。:：XJersHdministratorJ)eskltaibsvm-3.20windawESun-train-exe-s3txtSptinizatianFinished,ttiter=90u=0.885835bj=-89,070542,rho=0.3B1291£U-125.nBSU-112.在2上嘗試不同的epsilon值(“-p”參數(shù))來調(diào)節(jié)epsilon-SVR算法的性能。C：IJseFsMldiinistpatDrvJ)esktQplib3Ui3,20windows>5vn-trflin.ext-s3-p0.22.txt5N p

19、timizationfinisbed,ttiter=82nu=0.864823 bj-77.S34421,pBd-0.339066nGU=121,nBSU=1的C：Jlsei*5dmlni£tpatDrLJ)esktapXlib£um-3.20uindnus>sum-train.exe-s3-p0.32.txt5* ptinizationfinishedPttitei'=75nu-0.847488 bj=-66.240874,rho=0.298788nSU=nBSV=107C：MIsepsMIdninitratorDesktopMibsuii-3_20wind

20、ows>sv(n-tpain.exe-s3-p0.42.txt5K ptimizationfinislied,Kiter=81nu=0.830030 bj-55,164745Frho-&.233221nSU=114*nBSU=1&4C-SlllgarsAdministratDrM)esktaDlibsvin_3.2QwindawE>S'Jn_train-exer3-p052«txtSM ptinizatianfinisiedFttiter=86nu=0.?99?57 bj=-44.395639Arho=0.228635nSU-112,nBSU-95五、思考題：1 .闡述k-折交叉驗證的思想，比較1.2和1.3的性能。答：k-折交叉驗證(k-foldcrossValidation)就是在機(jī)器學(xué)習(xí)中，將數(shù)據(jù)集A分為訓(xùn)練集(trainingset)B和測試集(tests