互聯(lián)網地理信息爬蟲技術研究與應用.pdf

1、傳統(tǒng)地理信息數(shù)據(jù)采集通常是通過國家地理信息普查、實地勘察等方式獲取數(shù)據(jù)。然而，隨著社會的不斷發(fā)展，居民區(qū)、道路等因素的不斷變化，這種數(shù)據(jù)采集形式中數(shù)據(jù)成本高、工作量大、效率和時效性低等問題日漸突出?；ヂ?lián)網的不斷發(fā)展，互聯(lián)網上交織的地理數(shù)據(jù)與日俱增，這些數(shù)據(jù)中隱藏著豐富的知識。從互聯(lián)網中抓取相關的地理數(shù)據(jù)成為了地理信息來源的一個新渠道。
　　互聯(lián)網中蘊含著大量的地理信息數(shù)據(jù)，爬蟲技術的誕生在一定程度上解決了 Web數(shù)據(jù)獲取的難題，但

2、一般的通用爬蟲很難對互聯(lián)網中存在的地理信息進行有效的爬取?；ヂ?lián)網地理信息爬行技術在總結歸納通用爬蟲技術的基礎上，不追求大的覆蓋，將目標定為抓取與互聯(lián)網地理信息內容相關的網絡數(shù)據(jù)，使抓取工作更具針對性，通過互聯(lián)網地理信息爬蟲技術解決地理信息采集工作中數(shù)據(jù)成本高、工作量大、效率和時效性低等問題。
　　本文的主要研究如下：
　　（1）分析歸納互聯(lián)網地理信息承載網站特點。結合瀏覽器工作原理，通過分析互聯(lián)網地理信息承載網站的信息交互和

3、展示方式，按照瀏覽器工作原理，從爬蟲信息采集角度將淺層地理信息承載網站主要分為了三種類型：M-Dom類型、M-Render類型、M-Trigger類型；結合具體實驗，對深層網絡地理信息承載網站分析，重點研究了深網POI地理信息的承載網站的特點。
　?。?）互聯(lián)網地理信息獲取技術研究。針對淺層網絡地理信息采集場景，重點研究了單頁面和列表頁面的抓取方法；針對深網 POI地理信息采集場景，總結了采集難點、采集技術，設計了兩套內容檢索詞，