搜索引擎分類展示技術研究.pdf

1、隨著科學技術的進步,互聯網技術和通信技術也得以蓬勃發(fā)展。網絡信息含量逐漸呈現出爆炸式增長的趨勢。人們也越來越習慣通過網絡獲取自己所需的信息資源。但是,信息膨脹在為網絡用戶帶來便利的同時,也在某種程度上增加了他們的困擾:要在浩瀚的信息海洋中快速定位目標已經變得越來越困難。為了解決這一問題,本文對搜索引擎分類展示技術進行了研究,試圖通過合適的類別體系為用戶提供指引,幫助其減少不必要的時間浪費。
　　本文將搜索引擎分類展示的實現過程劃分

2、為兩部分:其一作為分類模塊,用來對網頁類別進行標識;其二作為搜索引擎模塊,用來建立分類索引和分類檢索,為用戶實現最終的分類展示。在分類模塊中,首先要對網頁集合進行預處理工作,將網頁由文本形式轉換為空間向量形式。本文提出了基于網頁分塊的正文抽取算法,通過判斷標簽樹中的節(jié)點找到網頁正文,再利用基于文檔頻率的特征提取算法過濾文本中區(qū)分度過低的詞語,來實現網頁向空間向量的轉化。然后是對文本分類器進行訓練,本文采取基于決策樹的方法對支持向量機二元

3、分類器進行擴展,以解決多類別分類問題,并提出更加適用于層次分類的多重特征選擇技術,文本在不同類別層次使用不同的特征向量表示,并且同一文本特征在不同層次分類器被賦予不同的權值,提高了層次體系中的分類精度。在搜索引擎模塊中,本文采用開源搜索引擎 Lucene作為系統(tǒng)實現的基礎架構,利用 Lucene索引文件中域的概念建立分類索引,在索引中存入網頁的類別信息。當用戶希望查看某一類別搜索結果時,通過對該類別層次所在的域進行檢索,就可以為用戶提供