支持向量機(jī)模型及其算法研究.pdf

1、支持向量機(jī)(SVM)作為數(shù)據(jù)挖掘中的新方法，已經(jīng)成為解決機(jī)器學(xué)習(xí)問題的新技術(shù).由于它是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化，且具有全局最優(yōu)、推廣能力強(qiáng)以及解的稀疏性等優(yōu)點(diǎn)，能較好地解決小樣本、非線性、過學(xué)習(xí)、維數(shù)災(zāi)難和局部極小等實(shí)際應(yīng)用中的難題，從而越來越受到人們的重視，并且廣泛地應(yīng)用于分類問題、回歸問題和函數(shù)逼近等領(lǐng)域。本文給出一種改進(jìn)的半監(jiān)督支持向量機(jī)模型，以及支持向量機(jī)訓(xùn)練的一些有效算法，具體內(nèi)容如下：
　　第一、基于U-支持向量機(jī)和半監(jiān)督兩

2、類分類問題的LIAM支持向量機(jī)算法思想，提出一種改進(jìn)的半監(jiān)督LIAM支持向量機(jī)(NPLIAM)。其完全具有PLIAM支持向量機(jī)所具有的誘導(dǎo)性，訓(xùn)練速度快，準(zhǔn)確率高等優(yōu)點(diǎn)，并且也只需通過求解一個(gè)(n+1)*(n+1)矩陣的逆即可得到最終分劃超平面。最重要的是NPLIAM算法克服了一般LIAM半監(jiān)督支持向量機(jī)的兩個(gè)缺點(diǎn)：
　　1)考慮未標(biāo)記點(diǎn)的所有正類與負(fù)類的約束情況，增加了二次規(guī)劃的求解復(fù)雜度；
　　2)當(dāng)未標(biāo)記點(diǎn)距離標(biāo)記點(diǎn)太

3、遠(yuǎn)，這樣就使得該未標(biāo)記點(diǎn)所提供的信息在訓(xùn)練中無法被利用，從而影響了分類的準(zhǔn)確率。
　　第二、針對(duì)最近Roger和Gaetano提出的支持向量機(jī)的一個(gè)新的標(biāo)準(zhǔn)問題以及對(duì)其求解的類SQP訓(xùn)練算法，通過對(duì)該類SQP算法子問題的幾何意義進(jìn)行分析，提出一種改進(jìn)的QP子問題，以及相應(yīng)的改進(jìn)類SQP算法，并對(duì)本文算法與原算法進(jìn)行比較。關(guān)于算法的初步的數(shù)值實(shí)驗(yàn)也驗(yàn)證了本文分析的正確性。實(shí)驗(yàn)結(jié)果表明，當(dāng)算法迭代點(diǎn)接近最優(yōu)點(diǎn)時(shí)，本文的改進(jìn)算法可以直接

4、搜索致局部最優(yōu)點(diǎn)，并且終止。而原SQP算法可能會(huì)搜索到局部最優(yōu)點(diǎn)仍要進(jìn)行下一步的迭代，以確保其局部最優(yōu)性才可終止。同時(shí)，本文還給出了另一種關(guān)于原SQP算法中參數(shù)0的選擇策略，該選擇策略同樣具有原策略所具有的優(yōu)點(diǎn)，但較原策略，特別是在不可分的情況下(即h0),具有更好的數(shù)值穩(wěn)定性。
　　第三、對(duì)于多類分類問題的K-SVCR算法，本文將其轉(zhuǎn)化成一個(gè)帶有半正定矩陣的仿射箱式約束變分不等式問題(BVI)。事實(shí)上，該轉(zhuǎn)化所得的BVI問題也是

5、一帶有P0-函數(shù)的箱式約束的半分不等式問題(P0BVI)。同時(shí)由于一般的變分不等式問題能夠轉(zhuǎn)化成一非光滑的等式系統(tǒng)，本文基于[40]提出的求解P0-NCP的正則光滑牛頓法的思想，通過引入相互獨(dú)立的單變量光滑參數(shù)?和單變量正則參數(shù)?，提出一個(gè)新的求解P0BVI的正則光滑牛頓算法來間接訓(xùn)練K-SVCR支持向量機(jī)。由于上述參數(shù)u和b均為單變量，且互不相關(guān)，這就使得本章所提算法更為簡單易行，可以有效地在實(shí)際中執(zhí)行。算法產(chǎn)生一無窮序列，在無需假設(shè)