面向Web挖掘的主題網(wǎng)絡(luò)爬蟲的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，越來越多的信息資源以網(wǎng)絡(luò)為媒介呈現(xiàn)在人們面前，而通過搜索引擎獲取生活、生產(chǎn)所需的信息資料也開始成為人們掌握資訊的主流方式之一。但是由于Web信息資源的爆炸式增長及其半結(jié)構(gòu)化、實時性、異構(gòu)性和離散性等的特點，如何對 Web資源進行挖掘分析、提取人們需要的特定主題的信息，已經(jīng)成為一項重要的研究課題。
　　本文的研究內(nèi)容是基于企業(yè)競爭情報、面向 Web挖掘的主題式搜索，在介紹了課題的研究背景和現(xiàn)狀之后，著重討論了W

2、eb挖掘和主題搜索引擎的核心技術(shù)。具體的研究工作如下：
　　主題網(wǎng)絡(luò)爬蟲：綜合分析了現(xiàn)有搜索引擎的網(wǎng)絡(luò)搜索算法，改進了相關(guān)的搜索策略，提出了一種非貪婪遺傳搜索算法。
　　Web文檔分析：本文利用HTML Tidy工具將 Web文檔轉(zhuǎn)換為其對應(yīng)的樹型結(jié)構(gòu)，然后根據(jù)用戶的需求利用不同的遍歷算法提取相關(guān)的信息；爬蟲系統(tǒng)對網(wǎng)頁的正文內(nèi)容進行提取和分詞之后，采用經(jīng)過改進的特征項權(quán)重計算方法建立文本的特征向量。
　　主題相關(guān)性評價