基于近似網(wǎng)頁聚類算法的Web文本數(shù)據(jù)挖掘技術(shù)的研究與應(yīng)用.pdf

1、隨著Internet信息量的飛速增長，數(shù)據(jù)挖掘技術(shù)的日益成熟及XML語言的崛起，Web數(shù)據(jù)挖掘技術(shù)迅速成為信息檢索領(lǐng)域的研究熱點。本文對Web數(shù)據(jù)挖掘技術(shù)、搜索引擎技術(shù)、XML語言、文本聚類技術(shù)作了系統(tǒng)的研究，介紹了其特點、原理、方法和研究現(xiàn)狀。如今Internet已經(jīng)成為了人們獲取各種信息的主要來源，利用常用搜索引擎系統(tǒng)能夠獲得大量的相關(guān)信息，但是這些信息太多太亂，用戶難以迅速找到真正感興趣的網(wǎng)頁。對此，本文深入研究了如何對搜索引擎返

2、回的結(jié)果進行文本數(shù)據(jù)挖掘以獲得用戶感興趣的搜索模式。 本文從Internet用戶的興趣度出發(fā)，提出了一種基于近似網(wǎng)頁聚類算法的Web文本挖掘技術(shù)。該技術(shù)根據(jù)用戶的興趣程度形成詞匯庫；利用模糊聚類方法獲得分詞詞典組；在用戶利用常用搜索引擎系統(tǒng)進行信息檢索時，采用MD5算法消除搜索引擎返回的重復(fù)頁，采用近似網(wǎng)頁聚類算法，對剩余頁面進行聚類，返回給用戶聚類后的網(wǎng)頁簇，這樣用戶就可以選擇瀏覽自己感興趣的頁面，從而大大提高了信息檢索的查準

3、率；為進一步滿足用戶的興趣需要，最后提出了一種基于馬爾可夫鏈的Web訪問序列挖掘算法，對返回給用戶的網(wǎng)頁簇進行二次排序，以保證用戶快速、準確地獲得真正關(guān)心的信息。實驗證明該算法在保證查全率和查準率的基礎(chǔ)上大大提高了搜索效率。由于是針對小文本的數(shù)據(jù)挖掘，本文研究的算法時間和空間復(fù)雜度都不高，因此有望成為一種實用、有效的信息檢索技術(shù)。 作者設(shè)計了一個基于上述思想的智能搜索系統(tǒng)，并用于一個辦公自動化系統(tǒng)。該系統(tǒng)運行速度快，能夠兼顧查全