面向問答系統(tǒng)的段落檢索技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的迅猛發(fā)展和廣泛普及使得互聯(lián)網(wǎng)成為人們獲取信息和交流信息的重要平臺(tái)。一方面，互聯(lián)網(wǎng)的規(guī)模呈爆炸式的增長(zhǎng)，網(wǎng)絡(luò)用戶借助于搜索引擎等工具，可以方便快捷地從互聯(lián)網(wǎng)獲取信息；另一方面，海量的信息也給用戶準(zhǔn)確識(shí)別和選擇有價(jià)值的信息帶來了困難。因此，如何準(zhǔn)確地從Web海量信息中檢索或抽取出符合用戶需求的信息成為互聯(lián)網(wǎng)信息處理的重要課題。問答式檢索和問答系統(tǒng)(Question Answering System)就是其中一個(gè)重要的研究課題，也是研

2、究下一代語(yǔ)義搜索引擎的重要研究方向。問答系統(tǒng)的特點(diǎn)在于，一方面允許用戶用自然語(yǔ)言提問而不是關(guān)鍵字的組合；另一方而系統(tǒng)給用戶返回的是精確的答案而不是一系列的文檔。用戶可以精確的表達(dá)自己的信息需求，系統(tǒng)則在理解用戶需求的基礎(chǔ)上做出準(zhǔn)確的信息反饋，從而實(shí)現(xiàn)用戶與系統(tǒng)在語(yǔ)義級(jí)別上的信息交互。
　　 文檔檢索模塊是自動(dòng)問答系統(tǒng)的重要組成部分。在通常情況下，系統(tǒng)需要利用一些比較耗時(shí)的技術(shù)例如自然語(yǔ)言處理、信息抽取和模板匹配等來分析文檔，以查

3、找問題的答案。用這些技術(shù)去分析文檔，系統(tǒng)會(huì)付出巨大的時(shí)問和空問開銷。因此，需要減小處理對(duì)象的大小。基于上述原因，段落檢索(Passage Retrieval)模塊被作為文檔檢索模塊和答案抽取模塊的中間模塊，加入到自動(dòng)問答系統(tǒng)中。段落檢索是信息檢索領(lǐng)域的一個(gè)重要的研究問題，現(xiàn)在已經(jīng)成為自動(dòng)問答系統(tǒng)的一個(gè)關(guān)鍵性模塊。論文的主要工作與創(chuàng)新如下：
　　 1)分析了文檔相關(guān)性的評(píng)估方法。文檔的相關(guān)性主要是指字詞層面上較為淺層的相關(guān)性，因此

4、，經(jīng)典的文檔檢索公式不適合直接應(yīng)用于段落檢索。為此，本文分析了問答系統(tǒng)環(huán)境下段落檢索的相關(guān)性，從文檔和段落的區(qū)別出發(fā)，分析了兩者在主題、長(zhǎng)度和關(guān)鍵字?jǐn)?shù)目等方面的差異，并基于這些差異，提出了適于段落檢索公式的基本準(zhǔn)則。
　　 2)提出一種基于Web的問答式段落檢索方法，以適應(yīng)問答系統(tǒng)的動(dòng)態(tài)性和時(shí)效性需求。傳統(tǒng)的方法一般是基于問題和段落之問的字詞密度特征，這類方法的缺陷在于，由于問題中所包含的關(guān)鍵詞數(shù)量過少，常常困為匹配失敗而使得召

5、回率較低。此外，基于詞頻和語(yǔ)言模型的檢索算法，經(jīng)常會(huì)返回一些不相關(guān)的段落。因此本文提出一種啟發(fā)式查詢重寫方法來解決這個(gè)問題，不再是單獨(dú)考慮每個(gè)關(guān)鍵字，而是以具有搭配關(guān)系和約束關(guān)系的詞匯單元為基礎(chǔ)，結(jié)合詞匯之間的關(guān)系，綜合計(jì)算段落與給定問題的相關(guān)度。
　　 3)提出一種新的基于多種特征的混合型相關(guān)性檢索模型。本文研究了詞匯相似度、主題相似度和結(jié)構(gòu)相似度在評(píng)估問題和段落之間的語(yǔ)義相關(guān)性的有效性。首先設(shè)計(jì)一種基于Web的字詞語(yǔ)義相似度

6、的計(jì)算方法，并利用該方法對(duì)問句和段落之間的詞匯相似度進(jìn)行統(tǒng)計(jì)計(jì)算；然后采用基于概率語(yǔ)言模型的主題模型對(duì)段落和問題之間的相似度進(jìn)行計(jì)算；對(duì)于結(jié)構(gòu)相似度，主要考慮兩種常見的結(jié)構(gòu)：“Wh-”轉(zhuǎn)移和謂詞聲明結(jié)構(gòu)，從約束滿足的角度來判斷問題和段落是否包含了相同的結(jié)構(gòu)約束關(guān)系。在上述工作基礎(chǔ)上，提出了這三利相似度的有權(quán)線性組合的混合型段落檢索模型。
　　 4)研究了基于段落一段落圖模型的答案段落排序方法。該方法不僅考慮了答案段落與問題之間的

7、獨(dú)立相關(guān)性，而且利用段落之間的關(guān)系信息建立圖模型，從全局上計(jì)算段落與問題的語(yǔ)義相關(guān)性。由于段落之問存在著關(guān)系，段落之間會(huì)通過關(guān)系相互影響各自與問題之間的相關(guān)性，因此，可以利用這種關(guān)系修正段落的相關(guān)性?？紤]到問題類型的多樣性特點(diǎn)，本文提出了基于KNN的問題擴(kuò)展方法。該方法基于多種特征計(jì)算問題相似度，在問題空間獲取最相似的問題，然后利用相似問題對(duì)原問題進(jìn)行擴(kuò)展，并基于擴(kuò)展的問題模型獲取候選的答案段落，根據(jù)段落的內(nèi)容特征計(jì)算段落一段落相似度，