基于DHT的分布式價格搜索引擎研究.pdf

1、近年來,隨著網(wǎng)絡(luò)資源的多樣化和人們對專有領(lǐng)域信息的需求,垂直搜索引擎的研究越來越受到人們的關(guān)注。面向價格的搜索就是垂直搜索引擎中的一種。但現(xiàn)有的價格搜索引擎幾乎都是基于集中式的,當(dāng)大量用戶在同一時間進(jìn)行請求時,中央服務(wù)器就會成為“瓶頸”且容易出現(xiàn)單點(diǎn)故障。隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大,對分布式垂直搜索的研究顯得越來越重要。本文將P2P技術(shù)與垂直搜索引擎相結(jié)合,設(shè)計(jì)了一個基于DHT的分布式價格搜索引擎,并討論了主題爬蟲的爬行策略、利用URL規(guī)則

2、對網(wǎng)頁的主題相關(guān)性進(jìn)行判斷以及利用XPath技術(shù)對web信息進(jìn)行抽取。然后討論了如何利用DHT的思想實(shí)現(xiàn)索引的構(gòu)建和分布式存儲,有效的避免了集中式索引可能出現(xiàn)的問題。
　　最后,針對現(xiàn)有的價格搜素引擎存在的搜索結(jié)果呈現(xiàn)結(jié)構(gòu)不清晰、混亂的問題,本文提出了對搜索結(jié)果進(jìn)行聚類的想法。通過對現(xiàn)有聚類算法的研究和分析,本文對k-means算法進(jìn)行了改進(jìn),并利用改進(jìn)后的算法對搜索結(jié)果進(jìn)行聚類,使得簇內(nèi)的文檔相似度較高,簇間的文檔相似度較低。然