基于切片的Web資源爬蟲的設(shè)計與優(yōu)化研究.pdf

1、在手機等移動設(shè)備越來越普遍的現(xiàn)在，移動學習在漸漸成為我們學習的重要方法之一。移動學習資源的質(zhì)量以及數(shù)量是至關(guān)重要的，在豐富的互聯(lián)網(wǎng)大背景之下，我們可以借助于網(wǎng)絡(luò)爬蟲從網(wǎng)絡(luò)中抓取豐富的學習資源，對之加以改造，可以加工成適合于移動學習的學習資源。由于移動學習時間的片段性和即時性、地點的不確定性、等特點，在使用網(wǎng)絡(luò)爬蟲從網(wǎng)絡(luò)中抓取資源的時候，要盡可能多的抓取圖片、視頻、音頻、Flash等多媒體資源，同時也要保證資源跟學習主題的相關(guān)性。在我們已

2、有的基礎(chǔ)教育平臺中的網(wǎng)絡(luò)爬蟲可以實現(xiàn)基本的數(shù)據(jù)的抓取，要實現(xiàn)針對于移動學習資源的抓取還需要對爬蟲進行進一步改造。本文中主要對爬蟲進行了以下的改進:
　　1.對移動學習所需資源進行分析，確定了在爬蟲中需要采集的資源類型以及這些資源在網(wǎng)頁中的表現(xiàn)形式;
　　2.對標準的網(wǎng)頁DOM樹結(jié)構(gòu)進行擴展，并根據(jù)鏈接在網(wǎng)頁中語義上聚集成塊的特點，對網(wǎng)頁中的鏈接在擴展的DOM樹的基礎(chǔ)之上進行分塊，并根據(jù)噪音鏈接的特點對其進行過濾，并抽取相關(guān)的