垂直搜索引擎中語義計算技術研究.pdf

1、近年來由于網(wǎng)絡上的信息量迅猛增加和網(wǎng)絡信息組織的無序性，用戶不容易從傳統(tǒng)搜索引擎返回的檢索結果中找到自己所需要的信息。垂直搜索引擎的出現(xiàn)和發(fā)展，一定程度上克服了傳統(tǒng)搜索引擎的數(shù)據(jù)雜亂等弱點。然而現(xiàn)在的垂直搜索引擎基本上還是基于關鍵字匹配的方式，無法克服關鍵字匹配方式固有的問題；垂直搜索引擎對數(shù)據(jù)質量的要求比較高，現(xiàn)在通過大量人工參與來提高數(shù)據(jù)質量，使得系統(tǒng)的維護成本非常高。本文提出了一種提高垂直搜索引擎數(shù)據(jù)質量和檢索效果的語義計算方法。

2、通過某些語義詞典或者是統(tǒng)計方法生成詞語語義相似度矩陣，利用改進的文本語義相似度計算方法計算文本之間在語義層面上的相似程度。使用這種方法在垂直搜索引擎的數(shù)據(jù)處理階段對文本進行語義層面處理，提高數(shù)據(jù)的質量；對數(shù)據(jù)進行分類和聚類處理，以提高檢索效率；在檢索階段，可以實現(xiàn)語義層面的檢索，克服了基礎關鍵字匹配方式帶來的查全率和查準率不高等問題。文中詳細介紹了如何利用語義計算技術解決垂直搜索引擎中的一些具體問題。本文還介紹了我們設計的一個農(nóng)業(yè)方面的

3、垂直搜索引擎。這個搜索引擎成功地融入了一些語義計算技術，取得了良好效果，目前這個搜索引擎已經(jīng)可以穩(wěn)定地對外提供高質量的檢索服務。 本文首先介紹了關于搜索引擎和語義計算方面的一些基本知識，結合垂直搜索引擎的特點分析了引入語義計算技術的必要性和可行性；介紹了文本檢索和語義計算方面的相關成果，討論它們的應用價值或者是可以借鑒地方。然后針對傳統(tǒng)的向量空間模型中文本相似度計算方法的不足，提出了一種基于語義的文本相似度計算方法，并討論了這種

4、方法中詞語相似度矩陣的相關問題，對如何生成詞語相似度矩陣進行分析，并通過實驗和分析指出了這些方法的優(yōu)劣和針對不同類型的文本數(shù)據(jù)進行語義計算的價值。接下來針對垂直搜索引擎中的具體問題，舉例說明了語義計算技術在垂直搜索引擎設計中的具體使用方法，并通過實驗分析了這些方法在具體應用中的特點。然后介紹了我們基于語義計算的農(nóng)業(yè)垂直搜索引擎從數(shù)據(jù)處理到文本檢索的整個系統(tǒng)的設計思想和整體設計框架，并討論了一些具體問題的處理方式，然后通過一系列實驗證明了