特定領域半監(jiān)督文本分類系統(tǒng)的設計與實現(xiàn).pdf

1、這是一個科學飛速發(fā)展的時代，借助計算機等工具以及人類歷史上長期的知識積累，各個學科的信息越來越深入和系統(tǒng)，人們迫切需要將這些特定領域的知識進行系統(tǒng)化的分析和歸類從而為以后更深入的研究做好準備，于是特定領域內的文本分類成為當前研究的一大熱點。 目前，特定領域文本分類主要是在傳統(tǒng)文本分類的基礎上，利用已有的特定領域知識庫對文檔進行特征選擇，用特定領域內的知識來表示文檔。這樣就帶來一個問題，如何尋找合適的知識庫來盡量準確地表示文本；對

2、于新興的學科而言，在尚未形成任何系統(tǒng)化的知識庫的時候，又如何進行分類?因此，理想的特定領域文本分類方法是能夠不借助于任何的領域知識而能夠很好的進行分類。同時，在一般的應用中，由于對訓練文檔進行標注需要耗費大量的人力，所以通常在分類任務的訓練集合中所給出的正例和負例的數(shù)目都是非常有限的，并且通常標注的正例和負例的文檔數(shù)目分布也相當?shù)牟痪?，大多?shù)情況下訓練集合中都只標注出了少量的正例文本。如何從少量的已標注訓練樣例中獲得足夠的類別信息以輔

3、助分類也是目前研究文本分類的一個難點。 本文綜述了現(xiàn)有特定領域文本分類系統(tǒng)的現(xiàn)狀，詳細介紹了在特定領域內，對于訓練集中正負例分布不均衡，且其中包含有大量未標注數(shù)據(jù)的半監(jiān)督文本分類問題，提出了一種基于緊密度衡量的分類方法。本文討論了特定領域半監(jiān)督文本分類系統(tǒng)的設計與實現(xiàn)細節(jié)，并實現(xiàn)了一個用于該類分類問題的系統(tǒng)。本文的工作主要包括： ●本文綜述了現(xiàn)有特定領域文本分類的研究現(xiàn)狀，指出了現(xiàn)有方法由于需要依賴于領域相關本體而帶來的

4、局限性。 ●本文詳細分析了半監(jiān)督文本分類問題的研究現(xiàn)狀，給出了幾種傳統(tǒng)的用于半監(jiān)督文本分類問題的算法并指出了這些算法的局限性。 ●提出了一種基于緊密度衡量算法來解決此類的文本分類問題，將通過實驗將該算法與其他傳統(tǒng)的基于特定領域內文本分類的方法作了詳細地比較與分析。 ●設計和實現(xiàn)了一個用于特定領域內半監(jiān)督文本分類問題的系統(tǒng)，并在TREC’05的基因任務數(shù)據(jù)集上進行了實驗，與TREC’05基因任務的其他組結果相比，總