搜索引擎中近似鏡像網(wǎng)頁去重研究.pdf

1、在互聯(lián)網(wǎng)發(fā)展的初期,網(wǎng)頁數(shù)量相對較少,用戶查找信息比較容易。伴隨著互聯(lián)網(wǎng)爆炸性的發(fā)展,網(wǎng)絡用戶想找到所需的信息簡直如同大海撈針,面對海量而又快速更新的網(wǎng)絡信息,如何快速準確地找到自己需要的信息就變得越來越重要了。為使網(wǎng)絡用戶搜索信息速度更加快捷和準確,專門在互聯(lián)網(wǎng)上執(zhí)行信息檢索任務的搜索引擎技術應運而生,極大地改變了人們的工作和生活方式。
　　 但用戶在搜索信息的時候常常會發(fā)現(xiàn),在返回結果中存在大量重復信息,嚴重影響了搜索引擎檢

2、索的效果。無論是對于搜索引擎還是網(wǎng)絡用戶來說,重復網(wǎng)頁都是非常有害。對于搜索引擎來說,會引起存儲資源的浪費,對于檢索用戶來說,降低了用戶對搜索引擎服務效果的滿意程度,同時不利于維護網(wǎng)絡原創(chuàng)的熱情。為提高搜索引擎的檢索效率,減輕用戶獲取有效信息的時間和成本,快速地甄別和去除重復網(wǎng)頁是一個非常有效的途徑。
　　 本文在已有技術的基礎上,針對現(xiàn)有網(wǎng)頁去重算法的不足和網(wǎng)頁正文的結構特征,對基于網(wǎng)頁結構的去重算法進行了改進。研究內容主要包

3、括:
　　 首先,本文介紹了網(wǎng)頁去重的前期工作,包括網(wǎng)頁去噪和中文分詞。在分析現(xiàn)有網(wǎng)頁去噪算法的基礎上,為能夠有效地消除網(wǎng)頁噪音,準確提取出主題型網(wǎng)頁中的正文信息,本文提出了一種基于網(wǎng)頁標簽樹來模板化提取網(wǎng)頁正文的方法。通過構造網(wǎng)頁標簽樹,定義具有最多子結點的結點所形成的子樹標記網(wǎng)頁正文信息。對算法流程及算法實現(xiàn)進行了闡述。然后介紹了中文分詞的基礎知識,并將中科院開發(fā)的中文分詞系統(tǒng)ICTCLAS用于后續(xù)的關鍵詞分析和邏輯段落劃分

4、。
　　 其次,本文分析國內外經(jīng)典的的網(wǎng)頁去重算法,闡述了算法的基本思想,并對各種算法的優(yōu)勢和缺點進行了分析。
　　 最后,在分析基于網(wǎng)頁正文結構去重算法的基礎上,對其不足之處進行改進,提出了基于網(wǎng)頁正文邏輯段落和長句提取的去重算法,該方法以用戶查詢關鍵詞為基礎,通過用戶檢索關鍵詞將網(wǎng)頁正文物理段落結構表示成邏輯段落,在此基礎上提取邏輯段落中的長旬作為網(wǎng)頁特征碼實現(xiàn)相似網(wǎng)頁判斷,并進行實驗驗證,試驗表明,該方法可以有效地