基于Web的垂直搜索引擎的研究.pdf

1、現(xiàn)代網(wǎng)絡(luò)的飛速發(fā)展，網(wǎng)上的信息量在以驚人的速度飛快的增長(zhǎng)，人們對(duì)搜索引擎的要求不斷地提高,為了找到一種更滿(mǎn)足人們需求的搜索引擎,垂直搜索引擎就在發(fā)展中產(chǎn)生了。垂直搜索引擎服務(wù)于特定行業(yè)、特定人群,具體問(wèn)題具體分析,解決了通用搜索引擎的一些不足之處,比以往的通用搜索引擎更占有優(yōu)勢(shì)。隨著信息產(chǎn)業(yè)化的發(fā)展,面向?qū)I(yè)方向的搜索需求也越來(lái)越多,現(xiàn)在,實(shí)現(xiàn)某個(gè)專(zhuān)門(mén)方向的垂直搜索引擎系統(tǒng)成為搜索引擎的的熱點(diǎn)問(wèn)題之一。本文在深入研究垂直搜索引擎的關(guān)鍵技

2、術(shù)的基礎(chǔ)上,分析并設(shè)計(jì)專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛、索引、檢索的流程,采用了專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛的搜索策略,實(shí)現(xiàn)了信息的采集、索引和查詢(xún),構(gòu)建了垂直搜索引擎系統(tǒng)。本文主要研究?jī)?nèi)容如下:
　　 (1)專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛:在分析專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛的相關(guān)技術(shù)上,設(shè)計(jì)了專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛的搜索策略和流程,研究了基于網(wǎng)頁(yè)內(nèi)容和鏈接結(jié)構(gòu)的兩種搜索策略,并采用了將兩種搜索策略結(jié)合的搜索策略,對(duì)系統(tǒng)的核心部分網(wǎng)絡(luò)蜘蛛進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)。
　　 (2)索引和中文分詞:本文對(duì)索引和中文

3、分詞的算法進(jìn)行了研究與設(shè)計(jì),采用最大化分詞策略的中文分詞算法,并對(duì)分詞后的信息建立索引,采用倒排索引形式將索引數(shù)據(jù)組織存放到數(shù)據(jù)庫(kù),實(shí)現(xiàn)信息數(shù)據(jù)的索引。
　　 (3)信息檢索技術(shù):本文對(duì)檢索的框架結(jié)構(gòu)進(jìn)行了研究,采用相似度匹配的算法對(duì)查詢(xún)出的網(wǎng)頁(yè)信息進(jìn)行排序,用戶(hù)通過(guò)檢索接口查詢(xún)關(guān)鍵字,將排序后的結(jié)果通過(guò)接口輸出,并顯示給用戶(hù)。
　　 (4)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn):通過(guò)對(duì)搜索引擎關(guān)鍵技術(shù)的探討與研究,對(duì)垂直搜索引擎各個(gè)模塊進(jìn)行了