基于集成學習的垃圾短信多級分類技術研究.pdf

1、近年來手機短信以其廉價性和方便快捷性的特點越來越成為人們所喜愛的一種聯絡方式，短信的應用也從最初的人與人之間的溝通工具漸漸地擴展到了一種服務的提供方式，如航班查詢、天氣預報訂閱等。雖然手機短信業(yè)務的爆發(fā)式增長帶給人們的生活極大的便利，但是與此同時，隨之而來的大量的垃圾手機短信也逐漸對人們的生活產生極大負面影響。垃圾短信的泛濫不僅干擾人們的正常生活，同時給社會穩(wěn)定帶來了不利影響。
　　本文以垃圾短信過濾技術為研究對象，首先介紹了垃圾

2、短信過濾的傳統(tǒng)技術的基本原理，如黑白名單法、關鍵詞過濾法和基于內容識別的機器學習法，以及它們各自的優(yōu)缺點，并且著重比較了各種不同的機器學習算法對于垃圾短信的分類能力。其次，本文介紹了旨在提高短信分類的穩(wěn)定性和準確性的各種集成學習多級分類方法，并且以 Stacking作為我們的短信過濾系統(tǒng)的集成學習算法，通過實驗兩種集成策略，我們最終得到了一個比較有效的短信分類系統(tǒng)。本文的主要工作體現在如下幾個方面：
　?。?）通過實驗分析比較了各

3、種機器學習算法對垃圾短信的分類能力以及它們的優(yōu)缺點。
　?。?）提出了一種分類器訓練策略，通過合并那些容易混淆的類別的數據作為訓練集訓練出第一級分類器，然后再將這些容易混淆的類別的數據提取出來作為另外一個訓練集訓練出第二級分類器，使用兩級分類策略有助于分類效果的提高。
　?。?）提出了一種基于互信息的特征選擇改進算法，使用改進后的算法后取得良好的效果。
　?。?）采用Stacking集成學習技術集成了多個基本分類器，并