基于Heritrix和Lucene構(gòu)建的垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著社會(huì)的高速發(fā)展,人們生活水平的不斷提高。筆記本電腦正逐步走進(jìn)千家萬戶的家中,成為人們工作、生活、娛樂不可或缺的重要組成部分。然而,在人們購買筆記本電腦之前,往往只能通過店面營銷人員的介紹、講解,才對(duì)筆記本有一個(gè)大致的了解。而且大多數(shù)人記不住筆記本的各項(xiàng)參數(shù)；除此以外,通過搜索引擎查詢某個(gè)品牌,得到的反饋信息,與自己的期望相差甚遠(yuǎn)。所以,人們十分迫切需要一個(gè)能夠提供筆記本電腦各項(xiàng)性能參數(shù)的平臺(tái)。
　　 本文通過學(xué)習(xí)開源蜘蛛程序

2、Heritrix和開源全文檢索框架Lucene,依靠MyEclipse開發(fā)工具,為人們搭建了這個(gè)平臺(tái)。Heritrix以其強(qiáng)大的抓取數(shù)據(jù)能力,正逐漸成為專業(yè)爬蟲軟件的首選,但由于Heritrix配置復(fù)雜,所以本文詳細(xì)講述了如何實(shí)現(xiàn)抓取網(wǎng)頁數(shù)據(jù),如何擴(kuò)展Heritrix的各項(xiàng)功能組件,以實(shí)現(xiàn)對(duì)特定網(wǎng)站數(shù)據(jù)的抓?。粸樘岣逪eritrix的工作效率,本文還對(duì)Heritrix原有功能組件作了擴(kuò)展,使其以多線程方式抓取網(wǎng)頁數(shù)據(jù),極大地提高了下載的

3、效率。此外,本文通過對(duì)Lucene的研究,實(shí)現(xiàn)了品牌檢索的功能,不僅如此,本文還考慮了Lucene基礎(chǔ)排序算法在本系統(tǒng)中應(yīng)用的不足,對(duì)其改進(jìn),改進(jìn)算法時(shí),借鑒了PageRank算法的思想,認(rèn)真考慮了網(wǎng)頁間的鏈接關(guān)系應(yīng)該對(duì)網(wǎng)頁間排序有很大的影響,并綜合考慮了網(wǎng)頁內(nèi)容和網(wǎng)頁間鏈接關(guān)系對(duì)結(jié)果頁面排序的影響。最后,給出了改進(jìn)后的排序公式并設(shè)置了合適的權(quán)重因子,實(shí)現(xiàn)了綜合排序的功能,從而使改進(jìn)后的排序更加客觀、更加真實(shí)。
　　 文章最后利