基于Web文本挖掘的聚類算法研究.pdf

1、隨著計算機與互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)資源日益豐富，但是隱藏在大量數(shù)據(jù)資源中的知識卻沒有得到充分的利用。Web挖掘可以快速有效地獲取Web上有用的信息。因為Web上的信息主要以文本的形式表示，而文本聚類作為文本挖掘的一個重要分支，可以更好地發(fā)現(xiàn)文本數(shù)據(jù)中隱藏的類別特性。所以對Web文本進行聚類分析具有重要的實際價值。目前對于文本聚類算法的研究有許多，研究主要集中于對單一聚類算法的改進及探討相關(guān)參數(shù)這兩方面。但是單個聚類算法存在結(jié)果不穩(wěn)定、隨

2、機性大的問題，現(xiàn)有研究趨向于集成多個聚類的結(jié)果。利用集成學習技術(shù)來改善聚類性能成為了一個新興的研究熱點。本文研究的重點是集成聚類方法。
　　本文介紹了課題的研究背景和國內(nèi)外研究現(xiàn)狀，并闡述了文本聚類及集成聚類的相關(guān)理論和關(guān)鍵技術(shù)。詳細介紹了文本表示方法、特征選擇方法、相似性測度等文本預(yù)處理技術(shù)，并對共識函數(shù)的設(shè)計方法進行了深入探討。當前文本聚類集成方法中大多不考慮進行集成的聚類成員的質(zhì)量，而當部分成員的質(zhì)量較差或者有噪聲干擾時會影

3、響最終集成結(jié)果。本文在對已有單個算法和聚類集成算法進行了研究和分析之后，針對現(xiàn)有集成聚類算法的不足，提出了一種加權(quán)聚類集成算法。算法的主要思想是通過評價聚類成員的綜合聚類質(zhì)量以及分析成員之間的差異度來設(shè)計各個成員的權(quán)重，進而得到更好的融合結(jié)果。
　　最后，本文設(shè)計了一個文本聚類原型，并將提出的加權(quán)集成算法在文本中進行應(yīng)用。在本文實驗中，把加權(quán)的集成算法WCSCE與沒有加權(quán)的集成算法CSCE以及單一K-means算法進行對比分析，驗