基于Nutch的可信搜索引擎研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展以及個(gè)人計(jì)算機(jī)的廣泛普及，如何準(zhǔn)確、快速、方便地從龐大的信息庫(kù)中檢索自己所需要的信息，是普通用戶面臨的一個(gè)重要問題。搜索引擎隨之成為人們廣泛使用的信息檢索的工具。搜索引擎涉及到分布式處理、信息檢索、人工智能、數(shù)據(jù)挖掘、自然語(yǔ)言處理等多個(gè)領(lǐng)域的技術(shù)，具有很強(qiáng)綜合性和挑戰(zhàn)性。由于近年來(lái)博客、微博、微信等自媒體迅速發(fā)展，普通用戶發(fā)布信息的門檻越來(lái)越低，大量重復(fù)、過時(shí)、虛假的信息充斥在互聯(lián)網(wǎng)中，然而傳統(tǒng)的搜索引擎并不能很好

2、地區(qū)分這些信息的優(yōu)劣。隨著信息量的增長(zhǎng)，搜索引擎的搜索結(jié)果的可信度卻越來(lái)越差。針對(duì)這些新出現(xiàn)的問題，提高搜索結(jié)果的可信度已經(jīng)成為未來(lái)搜索引擎重要的發(fā)展方向。
　　本文以提高搜索結(jié)果的可信度為主要研究點(diǎn)，針對(duì)搜索引擎存在偏重歷史網(wǎng)頁(yè)、主題漂移等問題，通過改進(jìn)搜索引擎的數(shù)據(jù)采集子系統(tǒng)和檢索子系統(tǒng)算法來(lái)提高搜索結(jié)果的可信度，最終完成可信搜索引擎的設(shè)計(jì)部署。本文主要工作可分為以下三方面。
　　1)可信數(shù)據(jù)采集子系統(tǒng)，在開源OPIC算

3、法的基礎(chǔ)上，提出了TS算法，該算法通過基于索引屬性的改進(jìn)，在基于網(wǎng)頁(yè)的鏈接基礎(chǔ)上加入網(wǎng)頁(yè)時(shí)間、網(wǎng)頁(yè)深度、平均點(diǎn)擊率三個(gè)屬性，實(shí)現(xiàn)了網(wǎng)頁(yè)評(píng)分因素的多元化，有效改善了OPIC算法偏重歷史網(wǎng)頁(yè)、容易作弊等缺點(diǎn)。
　　2)可信檢索子系統(tǒng)，采用基于向量的空間模型相似度計(jì)算原理，重新構(gòu)建了Lucence相似度計(jì)算公式，結(jié)合TS算法對(duì)網(wǎng)頁(yè)的評(píng)分。改進(jìn)檢索算法將數(shù)據(jù)采集子系統(tǒng)對(duì)網(wǎng)頁(yè)的評(píng)分值在最終的搜索結(jié)果中得到體現(xiàn)，完成可信檢索子系統(tǒng)的設(shè)計(jì)。