－－（2）

其中，α， σ 和 b 是訓(xùn)練數(shù)據(jù)后產(chǎn)生的值�？梢酝ㄟ^(guò)調(diào)節(jié)σ來(lái)匹配維度的大小，σ越大，維度越低。

SVM核心思想：

SVM目的是找到一個(gè)線(xiàn)性分類(lèi)的最佳超平面 f（x）＝xwT＋b＝0。求 w 和 b。首先通過(guò)兩個(gè)分類(lèi)的最近點(diǎn)，找到f（x）的約束條件。有了約束條件，就可以通過(guò)拉格朗日乘子法和KKT條件來(lái)求解，這時(shí)，問(wèn)題變成了求拉格朗日乘子αi 和 b。對(duì)于異常點(diǎn)的情況，加入松弛變量ξ來(lái)處理。使用序列最小化SMO（Sequential Minimal Optimization）來(lái)求拉格朗日乘子αi和b。注意：有些αi＝0的點(diǎn)，可以不用在分類(lèi)器中考慮。

1）線(xiàn)性分類(lèi)可以使用公式（1）和公式（2），對(duì)于公式（1）需要求解 w 和 b；對(duì)于公式（2）需要求解拉格朗日乘子αi和b；

2）非線(xiàn)性分類(lèi)只能使用公式（2），不能使用公式（1），因?yàn)楣�式�?）是線(xiàn)性函數(shù)。非線(xiàn)性分類(lèi)的問(wèn)題將向量映射到高維度，需要使用核函數(shù)。

SVM實(shí)質(zhì)：

支持向量機(jī)（SVM）將向量映射到一個(gè)更高維的空間里，在這個(gè)空間里建立有一個(gè)最大間隔超平面。在分開(kāi)數(shù)據(jù)的超平面的兩邊建有兩個(gè)互相平行的超平面。建立方向合適的分隔超平面使兩個(gè)與之平行的超平面間的距離最大化。其假定為，平行超平面間的距離或差距越大，分類(lèi)器的總誤差越小。

SVM關(guān)鍵因素：

SVM的關(guān)鍵在于核函數(shù)。低維空間向量集通常難于劃分，解決的方法是將它們映射到高維空間。但這個(gè)辦法帶來(lái)的困難就是計(jì)算復(fù)雜度的增加，而核函數(shù)正好巧妙地解決了這個(gè)問(wèn)題。也就是說(shuō)，只要選用適當(dāng)?shù)暮撕瘮?shù)，可以得到高維空間的分類(lèi)函數(shù)。在SVM理論中，采用不同的核函數(shù)將導(dǎo)致不同的SVM算法。在確定了核函數(shù)之后，由于確定核函數(shù)的已知數(shù)據(jù)也存在一定的誤差，考慮到推廣性問(wèn)題，因此引入了松弛系數(shù)以及懲罰系數(shù)兩個(gè)參變量來(lái)加以校正。在確定了核函數(shù)基礎(chǔ)上，再經(jīng)過(guò)大量對(duì)比實(shí)驗(yàn)等將這兩個(gè)系數(shù)取定，則問(wèn)題基本搞定。

SVM常用方法：

1）一對(duì)多法：把某一種類(lèi)別的樣本當(dāng)作一個(gè)類(lèi)別，剩余其他類(lèi)別的樣本當(dāng)作另一個(gè)類(lèi)別，這樣就變成了一個(gè)兩分類(lèi)問(wèn)題。然后，在剩余的樣本中重復(fù)上面的步驟｀這種方法箱要構(gòu)造k個(gè)SVM模型，其中，k是待分類(lèi)的個(gè)數(shù)。這種方案的缺點(diǎn)是訓(xùn)練樣本數(shù)目大，訓(xùn)練困難。

2）一對(duì)一法： 在多值分類(lèi)中，每次只考慮兩類(lèi)樣本，即對(duì)每?jī)深?lèi)樣本設(shè)計(jì)一個(gè)SVM模型，因此，總共需要設(shè)計(jì)k（k一l） ／2個(gè)SVM模型。需要構(gòu)造多個(gè)二值分類(lèi)器，且測(cè)試時(shí)需要對(duì)每?jī)深?lèi)都進(jìn)行比較，導(dǎo)致算法計(jì)算復(fù)雜度很高。

SVM決策樹(shù)法：它通常和二叉決策樹(shù)結(jié)合起來(lái)，構(gòu)成多類(lèi)別的識(shí)別器。這種方法的缺點(diǎn)是如果在某個(gè)節(jié)點(diǎn)上發(fā)生了分類(lèi)錯(cuò)誤，將會(huì)把錯(cuò)誤延續(xù)下去，該節(jié)點(diǎn)后續(xù)下一級(jí)節(jié)點(diǎn)上的分類(lèi)就失去了意義。weston雖然提出了用一個(gè)優(yōu)化式解多值分類(lèi)問(wèn)題，但由于其變量t數(shù)目過(guò)多，所以只能在小型問(wèn)題的求解中使用。

SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，是一個(gè)二分類(lèi)算法，它可以在N維空間找到一個(gè)（N－1）維的超平面，這個(gè)超平面可以將這些點(diǎn)分為兩類(lèi)。也就是說(shuō)，平面內(nèi)如果存在線(xiàn)性可分的兩類(lèi)點(diǎn)，SVM可以找到一條最優(yōu)的直線(xiàn)將這些點(diǎn)分開(kāi)。它在解決小樣本、非線(xiàn)性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。SVM應(yīng)用范圍很廣，已經(jīng)在許多領(lǐng)域，如生物信息學(xué)，文本和手寫(xiě)識(shí)別等中都取得了成功的應(yīng)用。目前主要應(yīng)用于模式識(shí)別領(lǐng)域。

結(jié)語(yǔ)：

在機(jī)器學(xué)習(xí)中，支持向量機(jī)（SVM）是與相關(guān)的學(xué)習(xí)算法有關(guān)的監(jiān)督學(xué)習(xí)模型，可以分析數(shù)據(jù)，識(shí)別模式，用于分類(lèi)和回歸分析。在解決小樣本、非線(xiàn)性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。已經(jīng)在許多領(lǐng)域，比如生物信息學(xué)，文本和手寫(xiě)識(shí)別等中都取得了成功的應(yīng)用。目前主要應(yīng)用于模式識(shí)別領(lǐng)域。