基于條件隨機場的中文命名實體識別的研究與應用.pdf

1、在文本中，命名實體是信息的主要載體，用來表達文本的主要內容。而中文命名實體識別是信息抽取、摘要提取、句法分析、開放域問答和機器翻譯等應用領域的重要基礎，越來越受到人們的重視和關注。但是，由于受中文自身特點的限制，中文命名實體識別的效果一直不是很理想。為提高中文命名實體識別的效果和促進中文信息處理領域其他技術和應用的發(fā)展，研究中文命名實體識別技術具有極其重要的意義。
　　中文命名實體識別主要有基于規(guī)則和基于統(tǒng)計的兩類方法。本文中文命

2、名實體識別的方法是基于統(tǒng)計的，主要研究了基于條件隨機場模型的中文命名實體識別技術。在理論上，對比討論了幾種統(tǒng)計模型的優(yōu)缺點，包括隱馬爾可夫、最大熵模型、最大熵馬爾可夫模型以及條件隨機場模型。其中，隱馬爾可夫模型對獨立性要求較高，最大熵模型缺少馬爾可夫特性，最大熵馬爾可夫模型存在標記偏置問題，而條件隨機場模型能很好的解決上述模型所引起的問題。另外，本文還對條件隨機場模型進行了深入的研究，尤其是特征提取和模型參數(shù)求解方面。
　　對于基

3、于條件隨機場的中文命名實體識別，特征模板對識別的效果具有非常重要的影響。本文在前人工作的基礎上，對特征進行細化和整合，并通過實驗總結出一個能很好表征各類命名實體的特征模板，該特征模板包含基本特征、前后綴特征、字典特征以及復合特征。同時，首次嘗試在訓練和測試過程中，應用不同的字典進行特征提取，使得識別效果有較大的提高。最終識別結果的F值達到91.27％，甚至高于SIGHAN bakeoff2006評測第一的結果。
　　在本文的最后，