基于維基百科的搜索引擎檢索結(jié)果聚類.pdf

1、搜索引擎的廣泛應(yīng)用為人們充分利用Web豐富的資源提供了重要保證，然而，Web網(wǎng)頁數(shù)量巨大以及查詢的信息不容易用簡短詞組準(zhǔn)確表達(dá)，導(dǎo)致一次搜索返回結(jié)果過多，如何有效組織這些結(jié)果對(duì)搜索引擎來說是一個(gè)巨大挑戰(zhàn)。目前大多數(shù)搜索引擎對(duì)于用戶查詢，僅僅通過關(guān)鍵詞匹配、排序，輸出一個(gè)長且無層次的列表，然而這個(gè)列表往往達(dá)不到預(yù)期目標(biāo)，因?yàn)橛脩敉枰喍囗摬拍苷业狡谕慕Y(jié)果，尤其是對(duì)于多義詞查詢。如果能將這些檢索結(jié)果根據(jù)相應(yīng)的語義分類別組織在一起，將

2、能更好的幫助用戶導(dǎo)航瀏覽，提高用戶的瀏覽效率。與傳統(tǒng)的基于詞頻和統(tǒng)計(jì)的檢索結(jié)果聚類方法不同， 本文提出了一種基于維基百科知識(shí)的聚類算法，實(shí)現(xiàn)了對(duì)檢索結(jié)果的在線高效準(zhǔn)確聚類。該算法利用從目前最大的在線知識(shí)庫—維基百科中挖掘出的詞語間語義關(guān)系，聚類后形成更為緊湊的簇、描述性更強(qiáng)的簇標(biāo)簽以及層次結(jié)構(gòu)更合理的樹型結(jié)構(gòu)。首先描述了一種全新的維基知識(shí)的挖掘方法。通過分析維基百科的組織結(jié)構(gòu)尤其是超鏈接關(guān)系，結(jié)合機(jī)器學(xué)習(xí)方法、啟發(fā)式規(guī)則和概率統(tǒng)

3、計(jì)方法，抽象出一個(gè)覆蓋面全、準(zhǔn)確率高的維基辭典，并提出了短語間語義相似度、短語導(dǎo)向性等指標(biāo)。該知識(shí)庫在關(guān)鍵詞抽取和文本分類上的簡單應(yīng)用也取得了非常顯著的效果。其次介紹了基于維基百科的搜索引擎檢索結(jié)果聚類的基本思想，突出闡述了特征項(xiàng)的抽取方法和基類合并規(guī)則。在特征項(xiàng)抽取過程中，在短語層次上采用全二分最大長度匹配快速識(shí)別主要詞匯，對(duì)同義詞進(jìn)行歸并，對(duì)多義詞根據(jù)上下文語境和語義信息的線性融合進(jìn)行歧義消解。采用倒排索引的方式組織基簇，在基簇的基