WEB代理系統(tǒng)網(wǎng)頁(yè)噪音信息識(shí)別與過(guò)濾技術(shù)研究.pdf

1、隨著 Internet技術(shù)日新月異飛速發(fā)展，互聯(lián)網(wǎng)上信息數(shù)量也在急劇增長(zhǎng)。目前很多自動(dòng)化應(yīng)用能夠幫助我們從互聯(lián)網(wǎng)上的海量數(shù)據(jù)中提取出我們所需的內(nèi)容，可是網(wǎng)頁(yè)信息不僅包含網(wǎng)頁(yè)本身的主題信息，往往還包含導(dǎo)航條、網(wǎng)頁(yè)廣告鏈接信息及相關(guān)推薦這類與主題并不相關(guān)的內(nèi)容，即噪音信息。這些信息不僅影響用戶的閱讀體驗(yàn)，而且可能造成網(wǎng)頁(yè)主題偏移，影響數(shù)據(jù)挖掘和搜索的速度與準(zhǔn)確率。因此，研究和實(shí)現(xiàn)高效、實(shí)用的web網(wǎng)頁(yè)中廣告等噪音信息的過(guò)濾技術(shù)無(wú)論是在數(shù)據(jù)挖

2、掘及web信息檢索方面，還是在提高用戶閱讀體驗(yàn)方面，都具有相當(dāng)重要的意義。網(wǎng)頁(yè)的語(yǔ)言形式和語(yǔ)法等特性都與傳統(tǒng)的語(yǔ)言相比存在很大的區(qū)別，因此網(wǎng)頁(yè)噪音信息過(guò)濾技術(shù)更加繁雜，需要考慮的因素也更多并且更具挑戰(zhàn)性。
　　本文基于以上背景，提出了一種新的基于視覺(jué)屬性分析的網(wǎng)頁(yè)噪音信息識(shí)別與過(guò)濾算法。本文首先對(duì)目前主流的網(wǎng)頁(yè)去除噪音方法進(jìn)行分類并進(jìn)行了分析研究。接著分析研究了具有代表性的各大門(mén)戶網(wǎng)站的新聞網(wǎng)頁(yè)中噪音信息的特點(diǎn)，并在此基礎(chǔ)上提出了

3、基于網(wǎng)頁(yè)視覺(jué)屬性與內(nèi)容規(guī)則的噪音識(shí)別算法。該方法首先對(duì)網(wǎng)頁(yè)文檔中注釋等無(wú)用信息進(jìn)行過(guò)濾，并將文檔構(gòu)建成特殊的基于網(wǎng)頁(yè)視覺(jué)屬性分析的文檔對(duì)象模型WVP_DOM樹(shù)，接著劃分樹(shù)中的塊結(jié)點(diǎn)信息確定最可能出現(xiàn)噪音信息的區(qū)域，跟據(jù)區(qū)域中的標(biāo)點(diǎn)符號(hào)及超鏈接正文比，進(jìn)一步判斷該塊是噪音塊還是主題塊。然后為保證網(wǎng)頁(yè)噪音信息準(zhǔn)確過(guò)濾并不影響用戶的閱讀，本文提出基于樹(shù)結(jié)構(gòu)相似性的網(wǎng)頁(yè)不變形噪音過(guò)濾算法。該方法主要思想是在網(wǎng)頁(yè)轉(zhuǎn)化成的WVP_DOM樹(shù)形結(jié)構(gòu)中濾