Web頁面語義信息提取方法的研究.pdf

1、Internet作為一個(gè)龐大的信息資源庫(kù)，已成為人們獲取信息的主要途徑之一，也是教育資源的重要來源。但是，隨著網(wǎng)上資源爆炸式地增長(zhǎng)，人們?cè)赪eb上找到自己感興趣的資源越來越困難。搜索引擎技術(shù)的出現(xiàn)在一定程度上緩解了人們?cè)谒阉餍畔⑦^程中遇到的困難，但是搜索引擎的弱點(diǎn)近年來逐漸顯現(xiàn)，那就是它不能準(zhǔn)確地提供給用戶他們真正想搜索的信息，這是因?yàn)楝F(xiàn)有的Web內(nèi)容，是以人瀏覽和理解為出發(fā)點(diǎn)而設(shè)計(jì)的，缺少計(jì)算機(jī)能夠理解的信息，語義Web這時(shí)為解決此問

2、題應(yīng)運(yùn)而生的。在現(xiàn)有的Web向語義Web過渡的過程中，人們無法立即舍棄現(xiàn)有的具有豐富信息的Web頁面，所以現(xiàn)有Web頁面的語義信息提取就成為能否向語義Web順利過渡的關(guān)鍵。目前的Web頁面語義信息提取工作需要大量的人工參與，而自動(dòng)化程度較高的語義信息提取技術(shù)，性能相對(duì)較低，并且均采用定制的語言表達(dá)提取規(guī)則，缺乏通用性，系統(tǒng)不易升級(jí)。
　　 針對(duì)上述問題，本文提出一種Web頁面語義信息提取模型，該模型可以自動(dòng)地、批量地對(duì)Web頁面

3、進(jìn)行語義標(biāo)注，并自動(dòng)提取領(lǐng)域的語義信息。具體地，使用了基于頁面視覺特征技術(shù)的Web內(nèi)容預(yù)處理技術(shù)，去除了網(wǎng)頁內(nèi)的噪音，提高了語義提取的速度和精度；提出了基于文本聚類的語義標(biāo)注，使用基于段落的改進(jìn)HAC算法，自底向上地對(duì)組成文檔的各級(jí)段落進(jìn)行聚類，對(duì)各級(jí)段落的候選關(guān)鍵詞進(jìn)行了提取和上卷，使聚類過程得到了各個(gè)語義層次的語義關(guān)鍵詞；定義了“語義簇”的概念，設(shè)計(jì)了基于語義簇聚類的Web頁面語義信息提取方法，根據(jù)文本聚類確定不同的閾值，控制語義實(shí)