matlab神經(jīng)網(wǎng)絡(luò)教學(xué)矩陣實(shí)驗(yàn)室.svm2original講解2by faruto

視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載?。atlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹faruto

2009.8.14視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

總體目錄:1.實(shí)踐(matlab_svm_1.wmv) a.whatisSVM? b.libsvm-mat的安裝及使用初步介紹 c.實(shí)例(usingwinedata)2.理論(matlab_svm_2.wmv) a.統(tǒng)計(jì)學(xué)習(xí)理論（StatisticalLearningTheory）[SVM的理論基礎(chǔ)] b.SVM的基本思想 c.libsvm中采用的各種SVM模型及l(fā)ibsvm使用詳細(xì)介紹視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載?。atlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

Review:1.WhatisSVM?SupportVectorMachine2.SVM工具箱的注意事項(xiàng)>>mex–setup%letsyouselectorchangethecompilerconfiguration>>make1.安裝時(shí)需要把libsvm-mat作為當(dāng)前的工作目錄,在后面使用時(shí)并將其加為工作目錄(setpath…).2.電腦里需要有相應(yīng)的編譯器,可以用自帶的,最好裝一個(gè)VC.3.SVM的使用Model=svmtrain(train_label,train,[option]);[predict_label,accuracy]=svmpredict(test_label,test,model);視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

統(tǒng)計(jì)學(xué)習(xí)理論（StatisticalLearningTheory）>>Vapnik在60-70年代提出了統(tǒng)計(jì)學(xué)習(xí)理論的基本思想，并在20世紀(jì)90年代中期不斷發(fā)展和成熟>>與傳統(tǒng)的統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)習(xí)理論是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論>>該理論針對小樣本問題建立了一套新的理論體系，在這個(gè)理論體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對漸進(jìn)性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載?。atlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

統(tǒng)計(jì)學(xué)習(xí)理論（StatisticalLearningTheory）>>與傳統(tǒng)的統(tǒng)計(jì)理論相比，統(tǒng)計(jì)學(xué)習(xí)理論基本上不涉及概率測度的定義及大數(shù)定律>>統(tǒng)計(jì)學(xué)習(xí)理論為建立有限樣本學(xué)習(xí)問題提供了一個(gè)統(tǒng)一的框架>>它避免了人工神經(jīng)網(wǎng)絡(luò)等方法的網(wǎng)絡(luò)結(jié)構(gòu)選擇、過學(xué)習(xí)和欠學(xué)習(xí)以及局部極小等問題.過學(xué)習(xí)狀況:視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的.>>所謂VC維是對函數(shù)類的一種度量，可以簡單的理解為問題的復(fù)雜程度，VC維越高，一個(gè)問題就越復(fù)雜。>>正是因?yàn)镾VM關(guān)注的是VC維，后面我們可以看到，SVM解決問題的時(shí)候，和樣本的維數(shù)是無關(guān)的>>（甚至樣本是上萬維的都可以，這使得SVM很適合用來解決文本分類的問題，當(dāng)然，有這樣的能力也因?yàn)橐肓撕撕瘮?shù)）。[byhgsz2003(洛洛)2.29#]

視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

SVM實(shí)現(xiàn)了下列思想:升維>>線性化通過事先選擇好的某一個(gè)非線性變換,講輸入向量映射到高維特征空間中,在一特征空間中,構(gòu)造一個(gè)最有分類超平面.視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

前面也只是說了一些”空”的理論層面的東西,咱們來實(shí)際算算吧.[以下內(nèi)容數(shù)學(xué)意味會(huì)較濃!]求最優(yōu)分類超平面等價(jià)于求最大間隔視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

線性可分的最優(yōu)超平面的求解:原問題:對偶問題:最終的判斷函數(shù):視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

現(xiàn)在考慮非線性可分情況:此時(shí)x經(jīng)過變化映射到高維空間中了.X=>fai(x)視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載！！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

Mercer定理保證了內(nèi)積核函數(shù)的存在.常見的核函數(shù):視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載！！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

Libsvm采用的各種SVM的模型:1.C-SVC(C-supportvectorclassification)2.nu-SVC(nu-supportvectorclassification)3.one-classSVM(distributionestimation)4.epsilon-SVR(epsilon-supportvectorregression)5.nu-SVR(nu-supportvectorregression)視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載?。atlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

Libsvm參數(shù)詳解:-ssvm類型：SVM設(shè)置類型(默認(rèn)0)

0--C-SVC

1--v-SVC

2–一類SVM

3--e-SVR

4--v-SVR-t核函數(shù)類型：核函數(shù)設(shè)置類型(默認(rèn)2)

0–線性：u'v

1–多項(xiàng)式：(r*u'v+coef0)^degree

2–RBF函數(shù)：exp(-r|u-v|^2)

3–sigmoid：tanh(r*u'v+coef0)-ddegree：核函數(shù)中的degree設(shè)置(針對多項(xiàng)式核函數(shù))(默認(rèn)3)-gr(gama)：核函數(shù)中的gamma函數(shù)設(shè)置(針對多項(xiàng)式/rbf/sigmoid核函數(shù))(默認(rèn)1/k)-rcoef0：核函數(shù)中的coef0設(shè)置(針對多項(xiàng)式/sigmoid核函數(shù))((默認(rèn)0)-ccost：設(shè)置C-SVC，e-SVR和v-SVR的參數(shù)(損失函數(shù))(默認(rèn)1)-nnu：設(shè)置v-SVC，一類SVM和v-SVR的參數(shù)(默認(rèn)0.5)-pp：設(shè)置e-SVR中損失函數(shù)p的值(默認(rèn)0.1)-mcachesize：設(shè)置cache內(nèi)存大小，以MB為單位(默認(rèn)40)-eeps：設(shè)置允許的終止判據(jù)(默認(rèn)0.001)-hshrinking：是否使用啟發(fā)式，0或1(默認(rèn)1)-wiweight：設(shè)置第幾類的參數(shù)C為weight?C(C-SVC中的C)(默認(rèn)1)-vn:n-fold交互檢驗(yàn)?zāi)Ｊ?，n為fold的個(gè)數(shù)，必須大于等于2其中-g選項(xiàng)中的k是指輸入數(shù)據(jù)中的屬性數(shù)。option-v隨機(jī)地將數(shù)據(jù)剖分為n部分并計(jì)算交互檢驗(yàn)準(zhǔn)確度和均方根誤差。以上這些參數(shù)設(shè)置可以按照SVM的類型和核函數(shù)所支持的參數(shù)進(jìn)行任意組合，如果設(shè)置的參數(shù)在函數(shù)或SVM類型中沒有也不會(huì)產(chǎn)生影響，程序不會(huì)接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確，參數(shù)將采用默認(rèn)值。視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

再看winedata視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載！！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

Review:1.統(tǒng)計(jì)學(xué)習(xí)理論（StatisticalLearningTheory）2.SVM實(shí)現(xiàn)了下列思想:升維>>線性化通過事先選擇好的某一個(gè)非線性變換,講輸入向量映射到高維特征空間中,在一特征空間中,構(gòu)造一個(gè)最有分類超平面.3.線性可分的最優(yōu)超平面的求解過程.視頻名稱:SVMMatlab工具箱分類實(shí)例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標(biāo)！版權(quán)歸mathworks公司所有！

我個(gè)人的建議:一個(gè)好的分類器固然重要,但不要全部指望分類器,前期的數(shù)據(jù)預(yù)處理亦很重要[去噪,規(guī)范化,特征提取],可以這么說的當(dāng)你數(shù)據(jù)預(yù)處理的完美的