基于Web的大規(guī)模平行語料庫構(gòu)建方法研究.pdf

1、蘇州大學(xué)學(xué)位論文獨創(chuàng)性聲明本人鄭重聲明：所提交的學(xué)位論文是本人在導(dǎo)師的指導(dǎo)下，獨立進行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不含其他個人或集體已經(jīng)發(fā)表或撰寫過的研究成果，也不含為獲得蘇州大學(xué)或其它教育機構(gòu)的學(xué)位證書而使用過的材料。對本文的研究作出重要貢獻的個人和集體，均已在文中以明確方式標(biāo)明。本人承擔(dān)本聲明的法律責(zé)任。論文作者簽名：基于Web的人規(guī)?！疨行語料庫構(gòu)建方法研究中文摘要基于Web的大規(guī)模平行語料庫構(gòu)建方法研

2、究中文摘要大規(guī)模平行語料庫是機器翻譯、跨語言信息檢索等自然語言處理應(yīng)用的重要資源?；ヂ?lián)網(wǎng)上存在著海量的多語言平行資源，以往的一些研究都致力于從一些多語網(wǎng)站中獲取平行(即互為翻譯)的單語網(wǎng)頁對，進而獲取平行語料。雖然許多機構(gòu)都已經(jīng)展開建設(shè)雙語平行語料庫的工作，但現(xiàn)有語料庫在數(shù)量、質(zhì)量以及領(lǐng)域覆蓋性等方面還不能滿足處理真實文本的需要。目前，學(xué)者發(fā)現(xiàn)在Web上雙語平行資源不僅存在于兩個平行的單語網(wǎng)頁對中，還存在于雙語混合網(wǎng)頁中，且存在于雙語混

3、合網(wǎng)頁內(nèi)部的平行資源翻譯質(zhì)量更高、數(shù)據(jù)規(guī)模更大、領(lǐng)域覆蓋更廣。本文的研究就是基于雙語混合網(wǎng)頁展開，致力于研究如何自動構(gòu)建一個大規(guī)模雙語平行語料庫。取得的主要成果歸納如下：探索基于Web獲取雙語混合網(wǎng)頁互聯(lián)網(wǎng)中索引了海量的網(wǎng)頁，如何準確獲取雙語混合網(wǎng)頁是個充滿挑戰(zhàn)的任務(wù)。以往的研究都是采用限定目標(biāo)源的方法，即預(yù)先收集大量的源站點(比如英語學(xué)習(xí)網(wǎng)站、翻譯網(wǎng)站等)，然后遞歸下載所有內(nèi)部網(wǎng)頁作為候選雙語混合網(wǎng)頁。但是該方法中源站點的選擇需要人工

4、干預(yù)，且獲取的網(wǎng)頁數(shù)量有限。為了克服這些缺點，還有一些研究提出利用搜索引擎和啟發(fā)式信息自動篩選得到候選源站點，但得到的候選資源良莠不齊，會下載到大量噪音網(wǎng)頁。本文提出了一種借助搜索引擎和已獲取的小規(guī)模平行語料來遞歸地發(fā)現(xiàn)并獲取雙語混合網(wǎng)頁的方法，實驗結(jié)果表明該方法能夠快速地、準確地、持久地獲取高質(zhì)量的雙語混合網(wǎng)頁。改進了雙語平行資源抽取、對齊技術(shù)雙語混合網(wǎng)頁中不僅包含有用的雙語平行資源，還包含一些噪音信息，如廣告信息、導(dǎo)航信息等，而且平