基于網(wǎng)格技術(shù)的主題爬蟲算法優(yōu)化的研究與實現(xiàn).pdf

1、網(wǎng)格技術(shù)是近年來得到廣泛應(yīng)用的技術(shù)，它解決了資源的真正共享，使各結(jié)點大量資源得到統(tǒng)一支配和使用，信息網(wǎng)格是在計算網(wǎng)格的基礎(chǔ)之上，利用數(shù)據(jù)挖掘、信息融合和搜索引擎等技術(shù)而構(gòu)建的，便于網(wǎng)格資源的搜集與共享，目標是創(chuàng)建一種構(gòu)建在OS和Web之上的基于Internet的新一代信息平臺，在這個平臺上，信息的處理是分布的、協(xié)作和智能化的。 主題爬蟲是根據(jù)目標主題，以智能化的方式從Web上收集主題相關(guān)的頁面集，然后采用機器學習或信息檢索的方法

2、對收集到的信息進行智能處理和分析，最后以方便、有效的檢索方式滿足用戶的信息檢索需求。 本文闡述了網(wǎng)格和主題爬蟲的基本概念和國內(nèi)外的發(fā)展現(xiàn)狀，說明了研究基于網(wǎng)格技術(shù)的主題爬蟲算法的意義。 詳細論述了網(wǎng)格技術(shù)以及網(wǎng)格的體系結(jié)構(gòu)，同時闡述了Globus的積木式體系結(jié)構(gòu)、OGSA體系結(jié)構(gòu)和基于Web Services的OGSA架構(gòu)，進而介紹了開放式網(wǎng)格服務(wù)的基礎(chǔ)結(jié)構(gòu)。 重點分析了主題爬蟲的概念、體系結(jié)構(gòu)以及存在的主要問題

3、，提出一種主題爬蟲算法——ZTSpider算法，通過對超文本分類器和超鏈接評價器的研究，改進了現(xiàn)有主題爬蟲算法在線學習能力差的問題，同時應(yīng)用反饋機制，優(yōu)化了網(wǎng)頁父子結(jié)點之間的信息傳遞，增加爬行收獲率。 設(shè)計并實現(xiàn)了主題爬蟲ZTSpider模擬系統(tǒng)，改進了現(xiàn)有的主題爬蟲的體系結(jié)構(gòu)，該系統(tǒng)應(yīng)用JAVA語言開發(fā)，具有跨平臺、高可擴展等特性，實現(xiàn)了Web信息的智能化收集，通過該爬蟲算法的收獲率，驗證了ZTSpider算法的有效性。