維吾爾文文本分類中特征選擇方法的研究.pdf

1、隨著互聯(lián)網(wǎng)新技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)與人們的生活息息相關(guān)。目前，新疆的維穩(wěn)工作是十分艱巨的，維吾爾文網(wǎng)頁的發(fā)展也變得越來越多元化。如何有效加強信息管控，將維吾爾文網(wǎng)頁內(nèi)容進行有效分類，營造一個安全的網(wǎng)絡(luò)環(huán)境，從而促進新疆的信息交流與穩(wěn)定發(fā)展已成為當務(wù)之急。特征選擇是維吾爾文文本分類過程中不可或缺的步驟，其主要作用是根據(jù)某種評價方法將能夠有效表達文檔內(nèi)容的特征挑選出來。
　　本文主要針對維吾爾文文本分類過程中的特征選擇方法進行研究，將

2、維吾爾文字特點與特征選擇方法進行無縫結(jié)合。分別研究了基于評價準則和基于搜索策略的維吾爾文文本特征選擇方法，設(shè)計并搭建了維吾爾文文本分類特征選擇演示系統(tǒng)。本文研究的主要內(nèi)容和成果如下：
　　（1）基于評價準則的特征選擇方法：針對傳統(tǒng)卡方統(tǒng)計特征選擇方法忽略特征詞頻和特征在數(shù)據(jù)集各類別中分布不均衡的缺陷，提出了一種改進的卡方統(tǒng)計特征選擇方法。本文使用均值TFIDF進行文本表示，引入一個調(diào)整公式來平衡類間選取的特征項數(shù)，并結(jié)合余弦相似度

3、進一步消除噪聲文本。實驗表明，改進的卡方統(tǒng)計方法不僅保留了傳統(tǒng)卡方統(tǒng)計方法的穩(wěn)定性，并且有效克服了傳統(tǒng)卡方統(tǒng)計方法在選擇較少特征數(shù)目時分類性能過低的問題。
　　（2）基于搜索策略的特征選擇方法：首先研究鳥群的飛行、覓食以及警惕這三個基本行為。對原數(shù)據(jù)集采用傳統(tǒng)卡方統(tǒng)計方法進行預選擇，將已選擇的特征進行編碼。再根據(jù)鳥群的三個基本行為在特征空間搜索最優(yōu)子集，其中適應(yīng)度函數(shù)設(shè)計為分類準確率。實驗表明，該方法使維吾爾文文本分類獲得較高的準