支持Ajax技術的Deep Web網(wǎng)絡爬蟲模型研究.pdf

1、快速增長的網(wǎng)絡信息資源已經(jīng)成為一個巨大的信息寶藏。實際上通用搜索引擎僅能檢索到整個網(wǎng)絡資源的一小部分信息(稱之為Surface Web),而大部分更有價值的信息資源卻不能夠被通用搜索引擎檢索,這些不能被檢索到的信息就稱為Deep Web。對Deep Web中信息獲取的研究已經(jīng)越來越受到人們的關注。
　　 在Deep Web中,有相當一部分內容因為以動態(tài)網(wǎng)頁的形式存在而不能被有效抓取。究其因為是,目前很多網(wǎng)站通過動態(tài)腳本的方式與用

2、戶進行交互,特別是以Ajax為代表的技術在網(wǎng)站開發(fā)中得到了廣泛應用。Ajax技術改變了傳統(tǒng)的基于靜態(tài)頁面的網(wǎng)站架構,在提高用戶體驗度的同時,由于其特性如JavaScript事件執(zhí)行、狀態(tài)識別與切換等,導致使用Ajax技術的網(wǎng)站及其后臺服務器資源無法被通用網(wǎng)絡爬蟲抓取,成為了不同于Surface Web的Deep Web資源。針對如何獲取這類使用Ajax技術的網(wǎng)站信息的問題研究將變得越來越重要,因此,實現(xiàn)此類信息的獲取成為了本文工作的出發(fā)

3、點。本文的主要研究內容如下:
　　 (1)研究了通用網(wǎng)絡爬蟲的體系結構、工作原理,重點分析其抓取Ajax網(wǎng)頁所面臨的JavaScript執(zhí)行、狀態(tài)識別與切換等問題?；谝陨涎芯?本文提出了一種基于狀態(tài)倉庫的Deep Web網(wǎng)絡爬蟲(即AjaxFetcher)的體系結構及其基本算法。
　　 (2)該爬蟲通過加入嵌入式瀏覽器的功能,可以模擬執(zhí)行頁面中的JavaScript事件,接受服務器端的異步響應,通過分析頁面DOM結構的

4、變化識別新生成的狀態(tài),逐步生成Ajax網(wǎng)站的狀態(tài)倉庫,該狀態(tài)倉庫呈現(xiàn)出了Ajax網(wǎng)站的結構及其各個頁面狀態(tài)信息。
　　 (3)由于在Ajax分頁抓取中對同一個函數(shù)的每次調用都將導致同樣的服務器端響應,本文將包含Ajax請求的JavaScript函數(shù)標記為熱點,通過緩存數(shù)據(jù)響應策略的方法改進上述基本算法,從而減少與服務器端通信所帶來的性能損耗。
　　 最后本論文通過設計對比實驗來驗證提出的新型網(wǎng)絡爬蟲的有效性,實驗結果表明