段落檢索系統(tǒng)及其應(yīng)用的研究.pdf

1、近年來(lái)，互聯(lián)網(wǎng)搜索引擎得到迅猛發(fā)展和廣泛普及，但大粒度輸入的搜索需求被各大搜索引擎所忽視；而且，盡管用戶通過(guò)搜索引擎能夠快速檢索出大量文檔，但返回的文檔中往往只有少部分段落內(nèi)容與用戶需求直接相關(guān)。因此，研究一個(gè)既能滿足大粒度輸入的搜索需求，又能得到與輸入段落密切相關(guān)的段落檢索系統(tǒng)，對(duì)于解決目前搜索引擎存在的難以滿足大粒度搜索和搜索精確度不足的問(wèn)題很有幫助。而在目前段落檢索領(lǐng)域的研究中，僅僅將段落檢索作為自動(dòng)問(wèn)答系統(tǒng)的一個(gè)組成部分進(jìn)行研究

2、，并沒(méi)有針對(duì)大粒度的輸入搜索相關(guān)段落的需求開(kāi)發(fā)出相應(yīng)的開(kāi)放的搜索引擎，為了解決這個(gè)問(wèn)題，筆者開(kāi)發(fā)出了海天園段落檢索系統(tǒng)并且對(duì)其中的相關(guān)算法進(jìn)行了研究。
　　在實(shí)現(xiàn)段落檢索的功能方面（大粒度的段落輸入，搜索到相似段落），文中設(shè)計(jì)了如下方法：首先在索引階段進(jìn)行基于窗口的分段，然后將輸入段落表示為有序關(guān)鍵詞序列，用基于關(guān)鍵詞交集的搜索方法得到相關(guān)段落，最后對(duì)得到的段落進(jìn)行段落相似度計(jì)算和排序。其中在分段方面，使用了高效的基于窗口的不重疊

3、分段算法，與先分段再搜索的段落檢索策略，能夠縮短搜索時(shí)間保證搜索的效率；對(duì)于輸入段落，系統(tǒng)采用了有序關(guān)鍵詞序列的表示方法和準(zhǔn)確的關(guān)鍵詞提取算法，該方法能夠有效的將大粒度的輸入準(zhǔn)確的表示為可搜索的形式；得到相關(guān)段落后的排序，文中比較多種段落相似度計(jì)算方法后，采用了SiteQ算法（一種基于查詢?cè)~密度的段落相似度計(jì)算算法）并對(duì)其進(jìn)行了改進(jìn)，能夠在查詢?cè)~間距離的層面更好的比較兩個(gè)段落的相似程度。
　　系統(tǒng)使用的數(shù)據(jù)是海天園金融爬蟲(chóng)每天實(shí)時(shí)

4、爬取的各大金融網(wǎng)站的網(wǎng)頁(yè)。為了驗(yàn)證段落檢索系統(tǒng)的搜索效果，文中對(duì)于每一個(gè)過(guò)程分別用不同驗(yàn)證方法進(jìn)行驗(yàn)證。首先關(guān)于提取關(guān)鍵詞的算法，將系統(tǒng)提取的關(guān)鍵詞與人工提取的進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明在字?jǐn)?shù)100字以內(nèi)提取10個(gè)關(guān)鍵詞，至少抽取7個(gè)正確的關(guān)鍵詞的準(zhǔn)確率達(dá)到85％。對(duì)SiteQ算法的改進(jìn)效果，文中使用MRR(平均排序倒數(shù))進(jìn)行評(píng)估：將改進(jìn)后的SiteQ算法分別與MITRE（詞重疊算法）算法和改進(jìn)前的SiteQ算法進(jìn)行實(shí)驗(yàn)比較，在輸入段落10

5、0字范圍內(nèi)，改進(jìn)后SiteQ算法的MRR值比MITRE至少大0.007，改進(jìn)后SiteQ算法的MRR值比改進(jìn)前至少大0.004，證明改進(jìn)后SiteQ算法的排序效果優(yōu)于改進(jìn)前，并且優(yōu)于MITRE算法。最后評(píng)測(cè)系統(tǒng)的性能，以從網(wǎng)頁(yè)中摘抄段落，輸入系統(tǒng)以搜索到源段落為目的，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)在輸入段落字?jǐn)?shù)達(dá)到60字以上時(shí)，平均召回率在93%以上，平均準(zhǔn)確率在27%以上，能夠滿足大粒度輸入段落，搜索出源段落的需求。
　　同時(shí)，將段落檢索應(yīng)用到自