基于信息熵的Web信息抽取技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展導(dǎo)致網(wǎng)絡(luò)上出現(xiàn)了大量的Web文檔，而且這個數(shù)字還在快速增長。然而由于Web信息的異構(gòu)性和動態(tài)變化性，數(shù)量巨大的Web資源往往導(dǎo)致用戶無法快速捕捉其中的有用信息。如何從龐大的互聯(lián)網(wǎng)資源中及時準(zhǔn)確地對信息進(jìn)行過濾、抽取出對用戶有用的知識以形成一個統(tǒng)一的知識庫便于查詢檢索，已經(jīng)成為人工智能和互聯(lián)網(wǎng)研究中的一個重要課題。Web信息抽取的任務(wù)便是從Web文檔中抽取出用戶感興趣的信息。
　　 Web信息抽取以半結(jié)構(gòu)化的Web

2、文檔作為輸入，從海量的Web文檔中的無序信息中抽取出用戶所需要的信息，并將抽取出來的信息以結(jié)構(gòu)化的形式存入數(shù)據(jù)庫中以便用戶檢索和分析處理。而這些抽取出來的信息，由于去除了噪聲，作為信息源將能有效地提高以網(wǎng)頁分類聚類、信息檢索、問答系統(tǒng)、Web挖掘等系統(tǒng)的性能。
　　 網(wǎng)頁為用戶提供了眾多的信息，其中夾雜著大量的噪聲信息，如由機(jī)器自動生成的隱藏信息和由人工手動添加的冗余信息，而僅有部分信息即核心信息是用戶所關(guān)心的。大量的噪聲信息給

3、Web信息抽取帶來了困難。在本文中，Web文檔中的信息被分為核心信息、冗余信息和隱藏信息，Web信息抽取進(jìn)而轉(zhuǎn)化成去除網(wǎng)頁中的噪聲信息，包括冗余信息和隱藏信息。
　　 本文利用網(wǎng)頁信息在網(wǎng)頁集中所呈現(xiàn)分布特點，結(jié)合DOM樹結(jié)構(gòu)與統(tǒng)計理論，提出了基于信息熵的Web信息抽取方法，它能夠自動識別出噪聲信息，并保留關(guān)鍵信息。該方法將網(wǎng)頁解析成DOM樹以去除隱藏信息，在對葉子節(jié)點的文本進(jìn)行分詞并統(tǒng)計其分布情況，利用本文提出的不同信息熵計算

4、標(biāo)準(zhǔn)包括平均熵標(biāo)準(zhǔn)(theMean Entropy Criteria)和聯(lián)合熵標(biāo)準(zhǔn)(the Joint Entropy Criteria)分別計算出各葉子節(jié)點的平均熵和聯(lián)合熵，從而得到葉子節(jié)點ADMJ(The Absolute Difference betweenMean Entropy Criteria and Joint Entropy Criteria)值;然后按DOM樹結(jié)構(gòu)對葉子節(jié)點進(jìn)行分塊聚集，向上遞歸求得標(biāo)簽的A