偽裝型垃圾網頁檢測技術的研究與實現.pdf

1、現如今，互聯(lián)網的發(fā)展突飛猛進，遍布日常生活中的各個角落，給人們的生活帶來了巨大的便利。而如何在互聯(lián)網的汪洋大海中獲取用戶想要的信息，搜索引擎無疑是一個方便可靠的工具。然而，一些人通過不正當手段提高其頁面在搜索引擎中的排名以達到他們惡意或非法盈利的目的。學者們將這種類型的網頁統(tǒng)稱為垃圾網頁。本文重點研究偽裝型垃圾網頁，這類網頁隱蔽性強，采用多副本方式進行欺詐。本文將采用相似性度量和分類相結合的方法對這種類型的垃圾網頁進行檢測。
　　

2、本文綜述了國內外學者目前對偽裝型垃圾網頁檢測技術的研究，詳細分析了偽裝型垃圾網頁形成原因和作弊方式。另外還綜述了國內外學者對網頁文本相似性度量技術的研究，詳細介紹了計算文本相似度的各類方法，以便為實現偽裝型垃圾網頁檢測提供理論基礎。
　　本文根據偽裝網頁欺詐方式以及網頁文本相似性度量方法，提出一套基于相似性度量和分類相結合的偽裝型垃圾網頁檢測方案。在相似性度量模塊，重點利用基于LDA(Latent Dirichlet Alloca