基于主題的Hidden Web信息獲取研究.pdf

1、隨著World wide Web(WWW)的爆炸式增長(zhǎng),Hidden Web中蘊(yùn)含了海量的可供訪問的信息,并且還在迅速地增長(zhǎng)。這些信息需要通過查詢接口在線訪問其后端的Web數(shù)據(jù)庫(kù)才能得到。盡管豐富的信息蘊(yùn)藏在Hidden Web中,由于Hidden Web數(shù)據(jù)的隱藏特性,傳統(tǒng)的搜索引擎對(duì)其不做索引,導(dǎo)致大量的有用信息被浪費(fèi)。而有效地把這些信息加以利用是一件十分具有挑戰(zhàn)性的工作。 對(duì)于Hidden Web的獲取目前成為信息檢索研究

2、的一個(gè)新興領(lǐng)域。本文首先介紹了Hidden Web的成因和結(jié)構(gòu)特點(diǎn),然后對(duì)比了Hidden Web爬蟲和傳統(tǒng)爬蟲的異同之處,分析了在設(shè)計(jì)Hidden Web爬蟲時(shí)需要解決的關(guān)鍵性技術(shù)。在總結(jié)現(xiàn)有的網(wǎng)絡(luò)爬蟲的基礎(chǔ)上,通過對(duì)其架構(gòu)進(jìn)行改進(jìn)和優(yōu)化,提出了一種基于主題獲取Hidden Web信息的方法,文中給出了系統(tǒng)的框架結(jié)構(gòu),分析了Hidden Web爬蟲抓取頁(yè)面時(shí)的幾個(gè)步驟,并討論了實(shí)現(xiàn)的關(guān)鍵技術(shù)。 通過引入的主題技術(shù),能夠節(jié)省網(wǎng)絡(luò)