基于領域的網絡爬蟲技術的研究與實現.pdf

1、隨著Web信息爆炸式的增長，如何有效的在Web中獲取有用的信息已變得及其困難。搜索引擎在信息檢索中扮演著重要的作用，已經為人們在日常生活中進行信息檢索不可缺少的工具。Yahoo、Google、MSN、百度等商業(yè)搜索引擎正是眾多通用搜索引擎中最成功的典范，但隨著網絡變得越來越復雜，這些通用的搜索引擎也有時會在信息領航中也會迷失方向。然而，最近幾年對各種搜索技術的研究方興未艾，基于P2P技術的流媒體搜索、元搜索技術、垂直搜索技術等都成為了搜

2、索領域研究的熱點。 本文對主題相關的網絡爬蟲進行研究。深入分析了一個大規(guī)模的搜索引擎，細述了其工作原理，常用的幾種搜索策略，并分析了其優(yōu)劣點，隨后從兩個方面分析了WEB爬蟲的技術實現困境：一是通用搜索引擎需要解決的技術問題，二是通用搜索引擎存在的局限性。接著給出了主題相關的網絡爬蟲的實現框圖?？紤]到如何克服高度并發(fā)、以及對網絡帶寬的占用問題，提出了設計一個DNS解析器，以便于有效的利用網絡帶寬，減少網絡傳輸延時；為了高效的對頁面

3、進行抓取，保證在進行并行抓取時，各進程間通信的問題，讓各個組件之間高效的工作，在設計中引入了非阻塞套接字技術。URL的調度技術在網絡爬蟲系統的設計中起著關鍵的作用，提出了基于概率模型的啟發(fā)示度量規(guī)則，讓我們的網絡系統有著更加智能的路由功能，以便于始終可以向著用戶設定的主題進行頁面獲取。在給出了基于概率模型的啟發(fā)示度量規(guī)則后，更進一步的提出了基于最佳優(yōu)先搜索的隧道技術，用于克服對某個主題在進行抓取多次后，若偏離了原先的主題，可以讓其迅速停