面向AJAX腳本網(wǎng)絡(luò)的網(wǎng)頁爬行及解析技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Web2.0時代的到來，具有AJAX異步傳輸特征的動態(tài)網(wǎng)站已經(jīng)逐漸成為互聯(lián)網(wǎng)中的主流表現(xiàn)形式。該技術(shù)雖然實(shí)現(xiàn)了與服務(wù)器的異步通信，帶來了良好的用戶體驗(yàn)，但是卻改變了基于靜態(tài)頁面的傳統(tǒng)Web站點(diǎn)的架構(gòu)。這導(dǎo)致傳統(tǒng)網(wǎng)絡(luò)爬蟲無法獲取動態(tài)站點(diǎn)中的所有頁面信息，隱藏在服務(wù)器端的很多數(shù)據(jù)內(nèi)容無法被獲取并進(jìn)行進(jìn)一步的分析與利用，造成了資源的浪費(fèi)。
　　通過上述現(xiàn)狀，本文首先分析了AJAX技術(shù)的工作原理與主要特點(diǎn)，以及網(wǎng)頁分析的核心技術(shù)，構(gòu)建

2、了動態(tài)網(wǎng)頁數(shù)據(jù)獲取的模型。在此基礎(chǔ)上，提出了一種基于動態(tài)腳本分析的網(wǎng)頁爬行及解析的方法。該方法首先通過對動態(tài)頁面結(jié)構(gòu)與內(nèi)容的解析完成了識別第三方框架、分類相似站點(diǎn)、確定頁面事件標(biāo)簽集合、頁面表單的自動填寫等工作。利用Watij模擬用戶操作并通過內(nèi)嵌Selenium腳本解析器順序執(zhí)行相應(yīng)腳本程序。采用廣度優(yōu)先的頁面爬行策略、XMLHttpRequest對象監(jiān)聽和DOM樹結(jié)構(gòu)相似性判斷相結(jié)合的頁面狀態(tài)判定方式、基于狀態(tài)轉(zhuǎn)換圖的狀態(tài)轉(zhuǎn)換控制方

3、法實(shí)現(xiàn)了動態(tài)頁面的數(shù)據(jù)獲取。通過路徑存儲倉庫和本地緩存的加入，有效地減少了頁面重新加載次數(shù)且較好地處理了服務(wù)器端的主動數(shù)據(jù)更新。
　　基于該方法的工作原理和處理流程，本文設(shè)計(jì)并實(shí)現(xiàn)了一個用于獲取動態(tài)網(wǎng)頁數(shù)據(jù)信息的原型系統(tǒng)。
　　實(shí)驗(yàn)表明，本文提出的算法能夠有效地對動態(tài)網(wǎng)頁進(jìn)行解析并獲取其中的數(shù)據(jù)信息。對算法做出的優(yōu)化，使得該算法在不影響數(shù)據(jù)獲取準(zhǔn)確率的情況下，執(zhí)行時間大大降低，性能較同類型其他算法有顯著提升。本文所實(shí)現(xiàn)的動態(tài)