微博實(shí)體與百科條目鏈接的多策略研究.pdf

1、近年來(lái)，隨著WEB2.0技術(shù)及互聯(lián)網(wǎng)產(chǎn)業(yè)的興起，社交網(wǎng)絡(luò)空前發(fā)展，衍生出的一種新型社交網(wǎng)絡(luò)平臺(tái)，微博，其用戶(hù)規(guī)模和產(chǎn)生的數(shù)據(jù)量急劇增長(zhǎng)。另一方面，WEB2.0技術(shù)也帶來(lái)了網(wǎng)絡(luò)百科的迅速發(fā)展，如何利用社交媒體及網(wǎng)絡(luò)內(nèi)容進(jìn)行知識(shí)庫(kù)的構(gòu)建與擴(kuò)展成為當(dāng)今研究熱點(diǎn)。其中，待拓展實(shí)體條目的歧義問(wèn)題成為該研究領(lǐng)域的重點(diǎn)難點(diǎn)，實(shí)體鏈接技術(shù)是解決該問(wèn)題的重要方法。本文針對(duì)中文微博內(nèi)容簡(jiǎn)短、語(yǔ)言隨意不規(guī)范等特性，提出了中文微博實(shí)體鏈接消歧的多策略方法。

2、r>　　中文微博實(shí)體與百科條目的鏈接，即對(duì)微博內(nèi)容中出現(xiàn)的待測(cè)命名實(shí)體與百科知識(shí)庫(kù)中的條目進(jìn)行匹配，要求將微博中出現(xiàn)的實(shí)體與百科條目準(zhǔn)確鏈接。中文微博實(shí)體與百科條目的鏈接研究從屬于命名實(shí)體識(shí)別(Named Entity Recognition，NER)下命名實(shí)體消歧(NED，Named Entity Disambiguation)研究課題，是自然語(yǔ)言處理(NLP，Natural Language Processing)研究領(lǐng)域中的一項(xiàng)熱

3、點(diǎn)研究，在自然語(yǔ)言處理的研究領(lǐng)域中起重要作用，是不可缺少的研究基礎(chǔ)。提升中文微博實(shí)體鏈接消歧的準(zhǔn)確性，可以更好地構(gòu)建與擴(kuò)展網(wǎng)絡(luò)百科知識(shí)庫(kù)，體現(xiàn)自然語(yǔ)言處理系統(tǒng)的通用性高與性能好的特點(diǎn)。
　　本文以參加的中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF, China Computer Federation)主辦的自然語(yǔ)言處理與中文計(jì)算會(huì)議(NLP&CC，CCF Conference on Natural Language Processing&Chinese

4、 Computing)的評(píng)測(cè)任務(wù)為主要研究?jī)?nèi)容。編寫(xiě)網(wǎng)頁(yè)爬蟲(chóng)程序，獲取微博內(nèi)容及網(wǎng)絡(luò)百科頁(yè)面信息，構(gòu)建百科實(shí)體映射表及梳理百科條目知識(shí)庫(kù)。使用LDA模型，基于主題模型的消歧算法對(duì)人名實(shí)體進(jìn)行消歧。集合基于實(shí)體映射表的匹配消歧算法、基于TF-IDF的實(shí)體義項(xiàng)特征消歧算法、基于實(shí)體義項(xiàng)標(biāo)簽的消歧算法和基于Fast-Newman聚類(lèi)模型實(shí)體消歧算法對(duì)中文微博實(shí)體進(jìn)行消歧，本文主要貢獻(xiàn)包括:
　　(1)構(gòu)建和梳理百科條目知識(shí)庫(kù)及實(shí)體映射表

5、。
　　(2)提出基于主題模型的人名消歧算法。
　　(3)提出多層級(jí)、多策略的實(shí)體消歧算法。
　　(4)編寫(xiě)中文微博實(shí)體識(shí)別系統(tǒng)和百科知識(shí)庫(kù)程序，并申請(qǐng)軟件著作權(quán)。
　　本文數(shù)據(jù)來(lái)源于第二屆和第三屆自然語(yǔ)言處理與中文計(jì)算會(huì)議(NLP&CC2013、2014)中的中文微博實(shí)體鏈接任務(wù)，其中在2013年評(píng)測(cè)中，知識(shí)庫(kù)實(shí)體數(shù)為44492個(gè)，待測(cè)實(shí)體數(shù)為1274個(gè)。在2014年評(píng)測(cè)中，知識(shí)庫(kù)實(shí)體數(shù)為378207個(gè)，待測(cè)實(shí)