基于向量空間模型的文本分類算法研究.pdf

1、隨著網(wǎng)絡信息的迅速發(fā)展，如何在海量的文本信息資源中快捷、準確的獲取有用信息已成為信息處理技術的關鍵。文本分類技術作為處理和組織大規(guī)模數(shù)據(jù)的核心技術，可以在很大程度上解決信息分類混亂問題，并更加準確高效地實現(xiàn)信息定位和信息分流。目前，文本分類技術在信息檢索、網(wǎng)頁去重、自動問答等領域都起到了不可或缺的作用，并迅速成為相關領域的研究熱點。以向量空間模型(VSM)為代表的基于數(shù)據(jù)統(tǒng)計的文本相似性算法因其具有實現(xiàn)簡單、計算高效等特點而得到了廣泛的

2、應用，但隨著網(wǎng)絡技術的迅速發(fā)展和文本信息資源數(shù)量的急速增加，文本種類、文本復雜度也較之前有了很大的改變，進而導致傳統(tǒng)的VSM算法在文本分類過程中的缺陷也日漸凸顯。
　　本文首先結(jié)合知網(wǎng)語義知識詞典(HowNet)和隱形語義索引(LSI)在文本分類中的應用，深入比對并分析了傳統(tǒng)VSM算法在分類過程中的缺陷。由于VSM算法是基于詞形建立向量空間模型，沒有考察特征詞條間的語義信息，忽略了相同語義下詞形的多樣性、不確定性，從而導致文本分類

3、精度不夠。另外，針對文本庫中海量詞條建立向量空間也使得該向量空間維度過大，進而導致文本分類效率較低。為此，本論文借助HowNet(知網(wǎng))中的語義層次樹，依據(jù)語義層次樹中的上下位關系對VSM中的特征向量進行語義擴展，將每一個特征詞條擴展為一系列與之具有語義相關性的特征詞條集合，并賦予相應權重。另外，根據(jù)HowNet中的詞匯相似度公式為具有同義關系的詞條建立同義詞集合，并引入“標志詞”(flag word)的概念，以“標志詞”來取代集合內(nèi)對

4、應詞條。語義擴展和同義詞集合建立兩個階段實現(xiàn)了VSM特征詞條的語義重構，對重構后的特征向量進行VSM相似度計算具有更高的計算精度。在實驗過程中，針對傳統(tǒng)VSM在文本分類過程中的缺陷，本文為分屬于不同領域的大量文本數(shù)據(jù)建立了相關數(shù)據(jù)集，并通過文本分類實驗對比得出改進算法與傳統(tǒng)VSM在召回率、精確率等索引性能上的差異。實驗結(jié)果表明，較傳統(tǒng)VSM算法，改進算法在文本分類精度及文本分類效率上都有一定程度的提高。最后本文結(jié)合改進算法在特征詞條的消