中文Web文本分類新技術(shù)的研究和應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展，Internel上的Web頁面數(shù)量呈指數(shù)增長(zhǎng)，如何有效的組織和處理這些海量信息，如何更好地搜索、過濾和管理這些網(wǎng)絡(luò)資源，成了一個(gè)亟待解決的問題。其中，Web文本分類技術(shù)是信息檢索和數(shù)據(jù)挖掘的核心內(nèi)容，基于機(jī)器學(xué)習(xí)的文本分類方法已經(jīng)取得了較好效果，但是它仍然存在如何提高分類精度和分類速度兩大難題。 本文研究的對(duì)象是中文Web本文，針對(duì)中文文本的特殊性，首先研究了中文分詞方法，并提出了一種基于二元語法的N

2、-最大概率中文粗分模型，該模型能夠較好地得到少量高召回率、高效率的粗分結(jié)果，更大程度地保留歧義字段和未登錄詞，進(jìn)而提高后續(xù)分詞質(zhì)量。然后針對(duì)中文Web本文的信息量巨大且內(nèi)容更新速度快等特點(diǎn)，提出了一種新的Web文本表示方法，即基于新詞發(fā)現(xiàn)的表示方法：用詞和新詞共同來表示W(wǎng)eb文本，理論和實(shí)驗(yàn)表明該方法可以幫助識(shí)別未登錄詞并擴(kuò)充現(xiàn)有字典，能夠增強(qiáng)Web文本表示能力，改善Web文本的特征項(xiàng)質(zhì)量，最終提高Web文本分類效果。 在現(xiàn)有分

3、類算法中，KNN算法是一種簡(jiǎn)單、有效、非參數(shù)的分類算法，在Web文本分類中得到廣泛的應(yīng)用并取得較好的分類效果；但是該算法存在兩個(gè)顯著不足，其一：計(jì)算量巨大，它要求計(jì)算未知文本與所有訓(xùn)練樣本間的相似度進(jìn)而得到K個(gè)最近鄰樣本；其二：當(dāng)類別間有較多共性，即訓(xùn)練樣本間有較多特征交叉現(xiàn)象時(shí)，KNN分類的精度將下降。針對(duì)KNN這兩個(gè)問題，本文提出了一種改進(jìn)的KNN分類算法，即先通過Rocchio算法快速得到k0個(gè)候選類別，然后在k0個(gè)類別中采用改進(jìn)