文本分類中的特征選擇研究.pdf

1、文本分類中特征選擇的目的是通過從原始特征集合中去除分類無關特征和冗余特征,以減少文本特征向量維數,提高分類的效率和精度。
　　 傳統(tǒng)文本特征選擇方法通常引入特征之間的條件獨立性假設,注重單一特征的評價,即只考慮特征和類別之間的相關性構造特征評價函數。然而,現(xiàn)實文本中條件獨立性多數情況下難以滿足,不同特征之間常常存在相關性,這使得特征子集中仍存在大量的冗余特征。
　　 本文采用“相關分析+冗余分析”的特征選擇研究思路,在對

2、特征分布信息進行分析的基礎上,首先研究類別相關的特征選擇方法確定初始特征子集,然后考慮特征之間的相關性去除冗余特征。特征分布信息更能夠客觀地反映特征與文本、特征與類別之間的關聯(lián)性。本文從對三種特征分布信息概念進行定義出發(fā),分析并量化三種特征分布信息的可能因素以及它們之間的關系,分析特征分布信息與特征相關、特征冗余之間的關系,提出了基于特征分布差異性的特征類別貢獻評價方法,以及基于特征分布相似性的特征冗余評價方法。通過公共數據集進行實驗驗