流形學(xué)習(xí)的統(tǒng)一框架及其在模式識(shí)別中的應(yīng)用.pdf

1、隨著信息時(shí)代的到來(lái)，人們獲得了方便的信息提取手段，也面臨著復(fù)雜的海量數(shù)據(jù)處理的問(wèn)題，尤其是面對(duì)模式識(shí)別、數(shù)據(jù)挖掘、圖像處理與機(jī)器學(xué)習(xí)領(lǐng)域中的海量數(shù)據(jù)時(shí)。這些數(shù)據(jù)往往都呈現(xiàn)出高維數(shù)、高增長(zhǎng)率、難以被人感知的特點(diǎn)。因此如何從這些數(shù)據(jù)中合理有效的找到對(duì)人們有用的信息成為亟待解決的問(wèn)題。 數(shù)據(jù)降維是一種有效的處理手段。降維就是要在保持?jǐn)?shù)據(jù)信息盡量完整的條件下合理的降低數(shù)據(jù)的維數(shù)。通過(guò)發(fā)現(xiàn)和描述數(shù)據(jù)內(nèi)部的規(guī)律來(lái)降低數(shù)據(jù)維數(shù)，從而滿足人們壓

2、縮、存儲(chǔ)、感知和進(jìn)一步復(fù)雜處理的需要。 傳統(tǒng)的降維方法往往都假定數(shù)據(jù)的分布具有全局線性特性。其中廣泛應(yīng)用的有：獨(dú)立分量分析（ICA），主成分分析（PCA）和線性判別分析（LDA）等等。顯然這種假設(shè)大大限制了傳統(tǒng)降維方法的能力。當(dāng)面臨的真實(shí)數(shù)據(jù)大多是呈現(xiàn)相互關(guān)聯(lián)，非線性化的結(jié)構(gòu)時(shí)，傳統(tǒng)的降維方法顯得越來(lái)越無(wú)能為力。 近年來(lái)，一類(lèi)具有代表性的非線性降維算法，如等距流形映射（ISOMAP）、局部線性嵌入（LLE）等方法的提出，

3、引起了人們極大的興趣。由于這類(lèi)算法的能夠發(fā)現(xiàn)嵌入在高維空間中的低維流形結(jié)構(gòu)，所以也把這類(lèi)算法叫做流形學(xué)習(xí)算法。 流形學(xué)習(xí)是一種新的機(jī)器學(xué)習(xí)與認(rèn)知科學(xué)的方法。它的主要目標(biāo)是發(fā)現(xiàn)嵌入在高維數(shù)據(jù)空間的低維光滑流形表示及其嵌入規(guī)則。目前，流形學(xué)習(xí)算法已經(jīng)成為降維領(lǐng)域的一個(gè)研究熱點(diǎn)，并且流形學(xué)習(xí)算法在高維數(shù)據(jù)可視化、人臉識(shí)別和文本分類(lèi)等領(lǐng)域取得了一定的效果。 本文針對(duì)幾種有代表性的流形學(xué)習(xí)算法進(jìn)行了深入的研究，主要探討了流形學(xué)習(xí)的

4、框架理論相關(guān)研究及其在模式識(shí)別中的應(yīng)用。 在理論方面本文做出了兩方面的工作。一是構(gòu)造了一個(gè)統(tǒng)一框架，將傳統(tǒng)的線性降維算法如主成分分析（PCA）、線性判別分析（LDA）與流形學(xué)習(xí)算法如ISOMAP、LLE、保近鄰嵌入（NPE）、拉普拉斯特征映射（LE）、保局投影（LPP）與邊界費(fèi)舍爾分析（MFA）等統(tǒng)一到這個(gè)框架之下。并在提出的統(tǒng)一框架下構(gòu)造了一個(gè)新的流形學(xué)習(xí)算法——子流形保形分析（Sub—Manifold Preserving

5、Analysis，簡(jiǎn)稱(chēng)SMPA）。該算法不僅適于數(shù)據(jù)可視化，也適于模式分類(lèi)。實(shí)驗(yàn)結(jié)果表明該算法優(yōu)于其他算法。二是擺脫傳統(tǒng)核方法在核函數(shù)上的制約，構(gòu)造出了數(shù)據(jù)上的最優(yōu)流形核矩陣。本文通過(guò)將本文框架下的流形學(xué)習(xí)轉(zhuǎn)變?yōu)橐粋€(gè)半正定規(guī)劃問(wèn)題，通過(guò)半正定規(guī)劃的技術(shù)構(gòu)造最優(yōu)核矩陣。實(shí)驗(yàn)結(jié)果顯示了該方法的有效性。 在應(yīng)用方面，本文針對(duì)目前流形學(xué)習(xí)算法在模式識(shí)別應(yīng)用中穩(wěn)定性較差，識(shí)別率不高的情況，結(jié)合AdaBoost方法，提出了一套新的最優(yōu)分類(lèi)流

6、形子空間的人臉識(shí)別方法。另外，本文還提出了一種基于流形分值的特征選擇方法。 總的來(lái)說(shuō)，本文的主要貢獻(xiàn)包括以下五個(gè)方面： 1.本文對(duì)幾種有代表性的流形學(xué)習(xí)算法進(jìn)行了深入的研究，提出了基于度量的流形學(xué)習(xí)算法的統(tǒng)一框架。該框架能夠?qū)F(xiàn)有的降維算法（PCA、LDA等線性算法與ISOMAP、LLE、NPE、LE、LPP、MFA等非線性降維算法）統(tǒng)一起來(lái)，更好地解釋與比較各個(gè)算法的優(yōu)劣。 2.在本文提出的框架下，能夠根據(jù)不同

7、的目的衍生出不同的算法。由此本文提出了一個(gè)用于數(shù)據(jù)可視化與分類(lèi)的新算法——子流形保形分析（SMPA）。該算法旨在進(jìn)行分類(lèi)的情況下，保持多類(lèi)數(shù)據(jù)中的子流形結(jié)構(gòu)。實(shí)驗(yàn)驗(yàn)證了該算法的有效性。 3.在模式分類(lèi)中，數(shù)據(jù)的特征極為關(guān)鍵，本文提出了基于本文框架下流形學(xué)習(xí)的流形分值特征選擇。這種特征選擇方法在模式識(shí)別應(yīng)用上顯示了較好的效果。 4.本文突破傳統(tǒng)核方法在核函數(shù)上的制約，通過(guò)半正定規(guī)劃（SDP）構(gòu)造最優(yōu)流形核矩陣。相關(guān)實(shí)驗(yàn)結(jié)果