一類基于貝葉斯算法的反垃圾郵件系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著Internet的發(fā)展和普及，電子郵件也得到了廣泛的應(yīng)用。電子郵件在給人們帶來(lái)方便的同時(shí)也產(chǎn)生了一個(gè)新的問(wèn)題，即大量垃圾郵件的出現(xiàn)。垃圾郵件不僅要消耗大量的網(wǎng)絡(luò)資源，其傳播的不良信息也會(huì)給社會(huì)造成很大的危害，因此研究垃圾郵件過(guò)濾具有重要意義。 本文首先分析了電子郵件及其過(guò)濾技術(shù)。接著，本文對(duì)Linux內(nèi)核相關(guān)技術(shù)做了分析和探討，其中包括Linux數(shù)據(jù)包截獲技術(shù)、Linux的網(wǎng)絡(luò)數(shù)據(jù)包結(jié)構(gòu)及其操作函數(shù)、內(nèi)核空間和用戶空間的概念

2、及其內(nèi)核編程的基本方法。在此基礎(chǔ)上，本文以Linux為平臺(tái)，提出了郵件基于文本內(nèi)容分析過(guò)濾系統(tǒng)模型，這是一種基于內(nèi)容的反垃圾郵件技術(shù)，主要理論依據(jù)是貝葉斯文本分類算法，在分析了貝葉斯算法在垃圾郵件過(guò)濾技術(shù)中應(yīng)用的優(yōu)點(diǎn)和不足后，給出了基于最小風(fēng)險(xiǎn)法的改進(jìn)Bayes算法。將反映垃圾郵件的特征綜合在一起統(tǒng)稱為“屬性”，用這些“屬性”構(gòu)成表示郵件特征的向量空間模型中的特征向量，避免了單純基于IP、信頭、信封過(guò)濾的規(guī)則性太強(qiáng)的缺點(diǎn)，降低將正常郵件

3、判斷為垃圾郵件的風(fēng)險(xiǎn)，可以改善系統(tǒng)的判斷能力、進(jìn)一步保證正常郵件到達(dá)的穩(wěn)定性和實(shí)時(shí)性。 為了提高系統(tǒng)性能，本文研究了垃圾郵件過(guò)濾系統(tǒng)所需的各種技術(shù)，包括Linux內(nèi)核Iptables的規(guī)則擴(kuò)展技術(shù)、自動(dòng)文本分類技術(shù)等。通過(guò)對(duì)各種文本分類技術(shù)進(jìn)行比較分析，本系統(tǒng)采用向左增字最小匹配與向右減字最大匹配算法相結(jié)合進(jìn)行分詞，并采用互信息方法消除歧義，提高分詞精度；針對(duì)現(xiàn)有的詞典機(jī)制，并降低空間復(fù)雜度和創(chuàng)建維護(hù)的難度；分析了兩種對(duì)樸素Ba