基于鏈接相似性分析的WEB結(jié)構(gòu)挖掘方法研究.pdf

1、WEB服務(wù)和應(yīng)用近年來得到了飛速發(fā)展,其信息量呈幾何級數(shù)增長,每天都有數(shù)以百萬計的網(wǎng)頁加入到WEB中。它已經(jīng)成為了一個涉及教育、政府、電子商務(wù)、新聞、廣告、消費信息、金融管理和許多其它信息服務(wù)的、巨大的、分布廣泛、全球性的信息服務(wù)中心。WEB網(wǎng)頁它們之間相互鏈接,盤根錯節(jié),組織成了一個類似于人類社會的網(wǎng)絡(luò),結(jié)合鏈接相似性分析方法,將對WEB資源挖掘進行研究,幫助人們高效的獲取所需信息,尋找所需領(lǐng)域的權(quán)威信息。
　　本文針對WEB結(jié)

2、構(gòu)挖掘中的四個問題進行研究:WEB頁面鏈接預(yù)測算法、垃圾頁面(SPAM)識別算法、WEB結(jié)構(gòu)挖掘算法以及WEB頁面聚類算法。
　　首先,提出了基于相似性的多路徑游走鏈接預(yù)測算法。1)提出新的衰減因子,通過使用新的衰減因子定義出新的相似度公式;2)改進 Rubin算法,與新的相似度公式相結(jié)合進行相似度計算,得出節(jié)點的相似度;3)對節(jié)點相似度排序,從而進行預(yù)測可能性判斷,得出預(yù)測結(jié)果。4)最后通過實驗對算法進行了驗證。
　　其次

3、,提出了頁面互相鏈接相似度的概念,然后給出了一個Spam頁面鏈接結(jié)構(gòu)的假設(shè),并且提出了一種基于頁面互鏈接相似度聚類的Spam頁面識別算法,該算法考慮了網(wǎng)頁之間會出現(xiàn)的彼此互相連接的關(guān)系,因此更加合理;并通過實驗分析,驗證了所提假設(shè),并實驗驗證了算法的有效性。
　　再次,針對 PageRank算法其存在的“主題漂移”和偏重舊網(wǎng)頁現(xiàn)象,提出了一種基于相似度和時間反饋因子的改進PageRank算法。第一步,利用向量空間模型VSM來計算鏈

4、接文本和其指向網(wǎng)頁之間的相似度;第二步,根據(jù)網(wǎng)頁產(chǎn)生時間,設(shè)計一個時間反饋因子,削弱舊網(wǎng)頁的網(wǎng)頁等級值,提高新網(wǎng)頁的網(wǎng)頁等級值;第三步,將相似度值和時間反饋因子融入到 PageRank算法計算網(wǎng)頁等級值中,根據(jù)算法流程計算改進后網(wǎng)頁的PageRank值。最后通過實驗對算法的性能進行了分析。
　　第四,研究國內(nèi)外已有的基于局部信息的啟發(fā)式聚類方法研究現(xiàn)狀,然后進行總結(jié)分析;并詳細(xì)研究基于局部信息的標(biāo)簽傳播方法,分析該算法在迭代過程中