基于最大熵模型的網(wǎng)頁分類.pdf

1、 隨著WWW的迅猛發(fā)展，對(duì)網(wǎng)頁進(jìn)行分類成為處理和組織大量文檔數(shù)據(jù)的關(guān)鍵技術(shù)。由于最大熵模型可以綜合觀察到的各種相關(guān)或不相關(guān)的概率知識(shí)，對(duì)許多問題的處理都可以達(dá)到較好的結(jié)果。研究者通過實(shí)驗(yàn)比較和分析了基于最大熵模型的分類器的分類性能，并且分別對(duì)其進(jìn)行了特征優(yōu)化、預(yù)分類處理以及平滑處理的比較，結(jié)果發(fā)現(xiàn)預(yù)分類處理對(duì)分類的幫助是很明顯的，其余兩種操作也在一定程度上提高了分類精度。 本文針對(duì)最大熵的優(yōu)點(diǎn)做了以下研究：(1)對(duì)網(wǎng)頁結(jié)構(gòu)

2、進(jìn)行分析，根據(jù)其連接程度分為C-Hub頁面和內(nèi)容頁面兩種，以便進(jìn)一步研究時(shí)，可根據(jù)不同的特點(diǎn)采取不同的研究方法，旨在提高網(wǎng)頁的分類精度。 (2)對(duì)網(wǎng)頁進(jìn)行了預(yù)處理，包括分詞、建造類別詞庫等。通過對(duì)詞專指度的計(jì)算，給出能夠確定文章類別的關(guān)鍵詞入庫。 (3)基于最大熵模型，本文用GIS算法求得特征函數(shù)，并用傳統(tǒng)的特征歸納方法，通過計(jì)算兩個(gè)概率分布之間的距離，分析引入某一特征后的信息增益，對(duì)每一特征進(jìn)行篩選，選出有用的特征組成

3、一個(gè)特征優(yōu)化集合。 (4)分別對(duì)結(jié)構(gòu)分析得到的兩種頁面設(shè)計(jì)特征函數(shù)。對(duì)于內(nèi)容頁面，由于其形式與純文本文檔非常接近，我們用詞-類別作為其特征，采用詞頻作為特征值；對(duì)于C-Hub頁面，由于有較高的文字鏈接比，我們主要對(duì)HTML格式進(jìn)行分析。首先通過分析HTML語言提取出一個(gè)優(yōu)化的HTML標(biāo)記集合作為研究對(duì)象，然后引入Salton提出的文本表示方法，并加以改進(jìn)，用以表示網(wǎng)頁內(nèi)容，把詞本身的特征與其所在位置相結(jié)合，計(jì)算出特征值ti，生成