面向?qū)嶓w發(fā)現(xiàn)的網(wǎng)絡(luò)信息聚類技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息資源成幾何倍增長，這些信息資源覆蓋了人們生活中的方方面面。但是隨著信息量的與日俱增，用戶對查找目標(biāo)信息深度需求顯得十分迫切。由于大部分網(wǎng)頁的標(biāo)題和正文中包含大量的實(shí)體信息，可以很好地表示所在網(wǎng)頁的內(nèi)容。利用聚類技術(shù)對檢索結(jié)果進(jìn)行聚類，從而發(fā)現(xiàn)檢索目標(biāo)的相關(guān)實(shí)體及屬性信息顯得尤為重要。目前流行的聚類算法能夠?qū)⑾嚓P(guān)度高的頁面進(jìn)行有效的分類，但是都沒有考慮利用網(wǎng)絡(luò)中的實(shí)體信息能夠有效地對網(wǎng)頁進(jìn)行分類并引導(dǎo)用戶的

2、檢索行為。
　　針對以上問題本文依據(jù)課題面向?qū)嶓w發(fā)現(xiàn)的網(wǎng)絡(luò)信息聚類技術(shù)開展研究，結(jié)合迭代搜索系統(tǒng)對網(wǎng)絡(luò)信息中的實(shí)體進(jìn)行發(fā)現(xiàn)。圍繞如何通過聚類技術(shù)對網(wǎng)頁文本進(jìn)行有效的聚類，進(jìn)而得到與目標(biāo)實(shí)體相關(guān)的實(shí)體信息。本文的主要工作如下：
　?。?）在對網(wǎng)頁文本進(jìn)行表示時，由于網(wǎng)頁文本標(biāo)題和正文中的實(shí)體詞是對網(wǎng)頁內(nèi)容的高度概括，因而，本文在計算特征項(xiàng)權(quán)重時，引入實(shí)體因子，結(jié)合詞性增加網(wǎng)頁文本中實(shí)體詞的權(quán)重，提高聚類精度。
　?。?）

3、利用Single-pass聚類算法對于文本聚類的判定，需要人工設(shè)定一個閾值，而這個閾值在實(shí)際操作中很難把握。因此，本文提出一個自適應(yīng)閾值 SPT(Single-pass-Threshold)聚類算法。此算法分兩步，第一步按照文本輸入的順序計算相鄰文本的相似度為數(shù)據(jù)樣本，通過最小類內(nèi)方差算法窮盡樣本內(nèi)的數(shù)據(jù)，計算確定對此樣本聚類所需的自適應(yīng)閾值。第二步，采用 Single-pass算法按照相同的順序?qū)ξ谋具M(jìn)行聚類，得到最終的聚類結(jié)果。

4、r>　?。?）基于自適應(yīng)閾值SPT算法引入實(shí)體因子的設(shè)計實(shí)現(xiàn)了一種高效的文本聚類算法，并通過二組實(shí)驗(yàn)驗(yàn)證本文方法的有效性。第一組實(shí)驗(yàn)通過窮舉測試驗(yàn)證了自適應(yīng)閾值選取的有效性。第二組實(shí)驗(yàn)通過對不同領(lǐng)域和同一領(lǐng)域的網(wǎng)頁文本進(jìn)行處理，驗(yàn)證SP T算法處理網(wǎng)頁文本的性能。經(jīng)實(shí)驗(yàn)驗(yàn)證SP T算法的準(zhǔn)確率、召回率和F值要明顯優(yōu)于原算法。
　?。?）采用本文技術(shù)實(shí)現(xiàn)了面向?qū)嶓w發(fā)現(xiàn)的迭代搜索原型系統(tǒng)的聚類模塊。通過該聚類模塊，將實(shí)體相關(guān)的文本聚合