基于向量空間模型的文本分類研究與應用.pdf

1、隨著信息技術與互聯(lián)網的迅速發(fā)展,信息容量迅速增長,大量的數據資源存儲在各類信息載體中。在這些龐大的信息資源中,蘊含著大量有價值的知識。面對浩瀚的數據海洋,人們難以獲取有用的信息,這導致龐大的數字化信息和人們獲取所需信息能力之間的矛盾日益突出。如何從大量紛雜的信息中獲得所需的知識,是一個非常困難而又富有前景的研究問題。文本分類是對文本集進行有序組織,把內容相似、相關的文本組織在一起,可以將信息歸類,能較好地解決信息雜亂現象,方便準確地定位

2、所需信息和對信息分流,因此文本分類就成為文本信息檢索、文本信息數據挖掘的重要基礎與前提。
　　 國內外許多學者對文本分類技術進行了研究,獲得了大量的研究成果,給出了許多文本分類模型,如布爾模型、向量空間模型、概率模型等。本文在前人研究的基礎上,對基于向量空間模型的文本分類技術進行了研究與分析?；谙蛄靠臻g模型的文本分類包括文本預處理、特征選擇、特征權重計算、分類器構造、分類算法等多個模塊。
　　 文本預處理是文本分類的第

3、一階段,主要是對文本進行結構處理和分詞處理:接著,特征選擇采用一定的算法(如信息增益算法),對文本特征進行提取,保留重要詞,舍棄次要詞；特征項權重計算用來確定特征權值,后者被用來構造分類器,直接關系到文本分類效果。分類器構造分為訓練與測試兩個階段,訓練階段被用來構造分類器；測試階段利用測試集已有的類標號信息對分類器進行評價,獲取分類準確性的評判:分類算法被用來對文本進行分類。
　　 本文在仔細分析前人工作的基礎上,主要展開了下列

4、研究:
　　 (1)概述了文本分類的過程和相關技術,包括文本預處理、中文分詞、向量空間模型、特征項選擇、特征項權重計算等。
　　 (2)給出了一個文本分類模型,并對模型的各模塊進行了論述,特別描述了文本特征選擇及特征項權重計算。
　　 (3)改進了TF-IDF特征項權重算法,改進的特征項權重算法綜合考慮了特征詞在類間和類內的分布情況以及特征詞在文本中的位置信息,給出了使用改進的特征項權重算法構造文本分類器的步驟。