基于啟發(fā)式規(guī)則和文本分類的信息過濾技術.pdf

1、隨著Internet使用的日益普遍，網絡給人們帶來了無比豐富的信息，但是，Internet也充斥著各種色情、反動或者是暴力的信息和各種互聯網病毒，網絡上存在的各種不良信息等越來越多的干擾著人們正常使用互聯網。如何有效控制這些信息的傳播，并保障網絡的內容安全已經成為信息過濾研究的主要內容之一?；ヂ摼W中出現的不良文本大多以文本的形式出現，因此不良文本過濾技術已經成為不良信息過濾領域中的主要研究方向了。 論文首先概述了信息過濾技術的基

2、礎知識：概念、分類、與其他信息處理技術的差別、常用的信息過濾模型。接著介紹了信息過濾系統中對文本的預處理過程，如：分詞、特征選擇等。然后介紹了Naive Bayes(NB)分類器、KNN(K NearestNeighbor)算法、SVM(Support Vector Machine)等文本分類算法。 本文重點介紹了判別式Naive Bayes(NB)文本分類算法。這一部分首先介紹了貝葉斯文本分類算法中常用的兩種模型，以及二分類樸

3、素貝葉斯文本分類算法的實現過程；然后詳細介紹了判別式貝葉斯分類算法的優(yōu)點及其詳細實現過程；最后將判別式’Naive Bayes分類算法應用到文本信息過濾領域中，設定文本的類別為兩類：健康文本和可疑文本，提出了判別式Naive Bayes文本分類算法。 文章最后提出了一種基于啟發(fā)式規(guī)則和文本分類算法相結合的多級信息過濾模型。首先介紹了基于啟發(fā)式規(guī)則的信息過濾模型，針對現在互聯網上出現的不良信息的表現形式進行了規(guī)則庫的設計和規(guī)則的設