Web文本自動分類技術(shù)研究.pdf

1、作為從萬維網(wǎng)上海量的文本信息資源中發(fā)現(xiàn)潛在的有價值知識的一種有效技術(shù)，Web 文本挖掘正方興未艾。Web 文本分類研究是Web 文本挖掘中的一個研究熱點。在Web 文本分類中，通過更好地體現(xiàn)Web 文本數(shù)據(jù)的特性可以提高機器學(xué)習(xí)領(lǐng)域中通用分類算法的性能，因此很有必要研究如何更好地將通用的機器學(xué)習(xí)算法同Web 文本數(shù)據(jù)相結(jié)合的方法。 在垃圾郵件過濾這個文本分類的重要應(yīng)用中，必須考慮不同類別的文檔被錯誤分類而導(dǎo)致的不同損失，為此定義

2、了一個損失函數(shù)，結(jié)合貝葉斯定理，將郵件表示為布爾型向量并用信息增益公式進行特征篩選，給出了一種基于最小損失的垃圾郵件過濾方法。在公共垃圾郵件數(shù)據(jù)集PU1 上進行了試驗，試驗結(jié)果驗證了定義損失函數(shù)的有效性。 為了更充分地體現(xiàn)文檔的內(nèi)在特性，把Web 文本表示成以單詞為最小元素的序列，考慮特征間的相互位置關(guān)系隱含的豐富語義信息，將計算生物學(xué)中DNA 序列分析問題的一種解決方法應(yīng)用到文本分類中，使用特征序列來描述一個類別的內(nèi)在特征，給