Web對象的信息抽取的關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展,Web已經(jīng)成為世界上最大的信息來源。如何獲取有用的Web信息則是大家面臨的共同問題,Web信息抽取就是針對這一問題而提出的。目前大部分信息抽取僅停留在對純文本的信息抽取上,對網(wǎng)頁文本的特殊性考慮不足。另外,信息抽取也很少涉及語義的理解。針對這些問題,本文以當(dāng)前招聘網(wǎng)站上海量的招聘信息為試驗數(shù)據(jù),來進行定題Web信息挖掘和信息抽取的研究。
　　 本文圍繞Web對象抽取中的關(guān)鍵技術(shù)展開研究。通過對Web頁面特點

2、的分析,實現(xiàn)Web頁面的自動分割,從而獲得主題文本。將主題信息抽象成Web對象,從而根據(jù)Web對象的特征來進行Web對象的命名實體以及實體關(guān)系的識別,并且通過實驗說明改進的模型對于信息抽取有很好的效果,最后提出了系統(tǒng)的不足和未來的研究方向。具體的研究內(nèi)容包括:
　　 首先,針對網(wǎng)頁是二維的特點,根據(jù)網(wǎng)頁的結(jié)構(gòu)和文本內(nèi)容特征,提出了基于網(wǎng)頁的多重特征表示方法,實現(xiàn)了對于網(wǎng)頁語義層面的特征表示。為了體現(xiàn)網(wǎng)頁各個區(qū)域差異,采用二維模型

3、對其建模,將傳統(tǒng)的HMM推廣到偽二維隱馬爾可夫模型,由此本文提出了基于偽二維隱馬爾可夫模型的網(wǎng)頁自動分割技術(shù)。
　　 其次,根據(jù)Web抽取信息的特點,引入Web對象的概念。將結(jié)構(gòu)特點和文本特點這兩種一維特征相結(jié)合,并且進一步將這種一維特征抽象為語義紋理的二維特征,從而實現(xiàn)了從對象本身進行抽取方法的改進,并為后文利用一維特征對Web對象實體的識別,以及二維特征對Web對象實體和屬性關(guān)系的識別做準(zhǔn)備。
　　 再次,針對Web

4、對象的一維特征,從Web文本的結(jié)構(gòu)特點和內(nèi)容特點進行了分析,采用統(tǒng)計模型和實體特征相結(jié)合的方法,提出了一種DSTCRFs模型,利用該模型不同的層次來進行Web對象的實體以及屬性的識別,尤其是針對一些復(fù)雜的嵌套實體的識別,從而將職位名、機構(gòu)名、地名、時間等命名實體的識別放在統(tǒng)一的框架下完成。
　　 最后,傳統(tǒng)模型多利用Web文本的結(jié)構(gòu)和內(nèi)容特點進行實體的特征描述,并且需要依賴于VIPS樹進行建模。本文在傳統(tǒng)模型的基礎(chǔ)上,將結(jié)構(gòu)和內(nèi)