基于相關背景圖的主題微博用戶發(fā)現(xiàn)方法的研究.pdf

1、隨著互聯(lián)網(wǎng)用戶的急劇增長,以及網(wǎng)絡應用的進一步深入,用戶個性化的需求不斷增長,通用搜索引擎難以滿足某些特殊用戶群體的需求。主題爬行技術作為一種新穎的搜索技術應運而生,更新周期快,它資源消耗少,更重要的是能滿足用戶的個性化需求。
　　相關背景圖(Relevancy Context Graph)可以收集給定主題的背景知識,并根據(jù)這些背景知識給每個待訪問網(wǎng)頁分配一個優(yōu)先訪問值,從而指導爬蟲的爬行方向。但是,在相關背景圖的背景知識構建中沒

2、有充分提取出網(wǎng)頁之間的鏈接結構信息,同時也沒有充分考慮網(wǎng)頁之間的語義關系。因此,許多噪聲網(wǎng)頁并沒有被有效的過濾掉。此外,相關背景圖的主題特征詞的定義也隱藏著一些缺陷。
　　本文的貢獻總結如下。(1)優(yōu)化了相關背景圖,并應用相關背景圖在微博中收集與主題相關的用戶。在優(yōu)化的過程中,借用社會網(wǎng)絡中朋友鏈接預測的思想,重新設計了背景圖中的鏈接結構關系,考慮了網(wǎng)頁之間更多的結構關系,利用向量空間模型(Vector Space Model)以

3、及語義向量空間模型(Semantic Similarity Vector Space Model)去過濾掉一些噪聲網(wǎng)頁,保證背景圖的有效性。(2)利用背景圖中詞之間的語義關系去擴展主題特征單詞,并有效地計算了擴展的主題特征單詞的分布。(3)提出了一個經(jīng)過鏈接分析和語義分析優(yōu)化后的相關背景圖的爬蟲。(4)利用囊括各個領域的大量中文網(wǎng)頁構建了中文通用語模型。(5)利用改進的相關背景圖計算出的特征主題單詞的分布以及通用語模型,結合微博中傳播者