基于條件隨機(jī)場的中文短文本分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,網(wǎng)上生活已經(jīng)成為了人們必生活中不可少的一部分。互聯(lián)網(wǎng)上的人們使用的信息很多是以短文本的形式存在的。短文本就是內(nèi)容較短的文本(一般長度不超過140字符),通常的新聞標(biāo)題、微博、手機(jī)短信、電子郵件、購物評價(jià)等都是短文本。面對互聯(lián)網(wǎng)中的海量信息,利用計(jì)算機(jī)技術(shù)自動地進(jìn)行短文本分類可以幫助人們在有限的時(shí)間內(nèi)閱讀更多感興趣的信息。本文對基于條件隨機(jī)場的短文本分類的算法進(jìn)行了較深入的研究和討論,在特征選擇與文本表示方面進(jìn)行了改

2、進(jìn)。
　　與通常的文本相比,短文本有許多特性。本文介紹了短文本的特點(diǎn)并對國內(nèi)外相關(guān)領(lǐng)域的研究現(xiàn)狀進(jìn)行了分析。目前短文本分類方法大多采用的是傳統(tǒng)文本分類方法的改進(jìn)。本文回顧了文本分類方法的一般過程,列舉了中文分詞、特征選擇、特征權(quán)重計(jì)算、文本表示、文本分類器等文本分類領(lǐng)域的重要知識。
　　條件隨機(jī)場是一個(gè)給定輸入序列條件下計(jì)算出輸出序列的無向圖模型,是對傳統(tǒng)的有向圖概率模型的改進(jìn)。將條件概率模型應(yīng)用于文本分類領(lǐng)域是目前短文本分

3、類的新思路。
　　本文系統(tǒng)地描述了條件隨機(jī)場理論和如何將序列標(biāo)注的方法用于短文本分類領(lǐng)域。針對短文本所面臨的特征稀疏等問題,本文提出了將語料預(yù)處理和分詞后,用類別作為標(biāo)注使用條件隨機(jī)場模型進(jìn)行標(biāo)注預(yù)測的短文本分類方法。重點(diǎn)介紹了序列標(biāo)注方法、分類結(jié)果的判斷與特征模版的選擇問題。
　　對比實(shí)驗(yàn)表明,基于條件隨機(jī)場的短文本分類算法是一種有效的文本分類方法,在新聞的主題分類、微博的主客觀分類和情感傾向性分類中都取得了不錯的分類效果