財經領域命名實體識別方法的研究與系統實現.pdf

1、隨著大數據處理技術的不斷發(fā)展，互聯網金融也進入了大數據時代。面對海量的財經文章，使用自然語言處理技術對其進行解析已成為技術發(fā)展的必然趨勢。而命名實體識別作為自然語言處理技術中的重要基礎，為信息抽取、信息過濾、信息檢索、問答系統等多種自然語言處理技術提供了重要的基礎技術支持。因此，開發(fā)一個識別財經領域中的股票名稱、股票代碼等命名實體的系統，具有重要的現實意義和使用價值。
　　論文通過查閱相關文獻，詳細論述了課題的產生背景和相關技術的

2、發(fā)展與應用。在總結需求的基礎上，對命名實體識別系統進行了深入研究，確定了解決方案和技術措施。針對命名實體識別，本系統采用了條件隨機場(Conditional Random Field，CRF)模型，在模型訓練過程中結合了Co-Training方法，不僅可以提高模型識別性能，還減少了因標注語料而消耗的大量人力物力。對于命名實體的識別采用的是 Viterbi算法。此外，為了解決 CRF模型訓練和實體識別時間較長的問題，將系統架構在Hadoo

3、p框架之上，使用并行化處理的方式來縮短其運行時間。
　　本系統在設計上可以劃分為模型訓練和實體識別兩大模塊。模型訓練模塊采用CRF模型，使用選取的標注語料和特征模板，基于Co-Training方法訓練得到一個CRF模型。命名實體識別模塊可以從財經新聞、公司年報、個股研報等財經文章中識別出股票名稱、股票代碼等實體信息，識別過程使用了Viterbi算法，從而將識別問題轉化為了序列標注問題。最后還對模型的識別性能進行了評測、比較，驗證了