WEB日志過濾技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Internet的迅速發(fā)展和不斷普及，Web日志資源越來越多，而如何利用這些海量數(shù)據(jù)來更好的為用戶服務(wù)成為當(dāng)今的研究熱題。Web日志挖掘把傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)應(yīng)用到Web日志中，獲取網(wǎng)站使用情況的有價值模式，應(yīng)用于個性化服務(wù)、網(wǎng)站設(shè)計(jì)和商業(yè)決策等方面。而數(shù)據(jù)預(yù)處理在Web日志挖掘過程中起著至關(guān)重要的作用，其中本文提到的Web日志過濾技術(shù)屬于數(shù)據(jù)預(yù)處理的一種。
　　Web日志過濾技術(shù)是指對用戶瀏覽網(wǎng)站所留下的訪問記錄，即Web日志

2、進(jìn)行過濾，其目的是要過濾掉那些不能體現(xiàn)用戶興趣的日志記錄，如圖片信息、網(wǎng)站主頁導(dǎo)航頁等，而留下那些可以體現(xiàn)用戶興趣的記錄。為了實(shí)現(xiàn)Web日志過濾技術(shù)本文中提出了兩種方法，一種是基于鏈接規(guī)則的日志過濾技術(shù)，另一種是基于網(wǎng)頁內(nèi)容的日志過濾技術(shù)。
　　基于鏈接規(guī)則的過濾技術(shù)是在對日志記錄進(jìn)行詳細(xì)分類基礎(chǔ)上，人工校對每種鏈接是否包含用戶興趣，然后對那些包含用戶興趣的鏈接，根據(jù)鏈接特點(diǎn)生成過濾規(guī)則進(jìn)行過濾。其特點(diǎn)是準(zhǔn)確，速度快，但是缺點(diǎn)是統(tǒng)

3、計(jì)日志記錄以及人工校對效率低，且生成的規(guī)則隨著網(wǎng)站結(jié)構(gòu)變化易失效。
　　基于網(wǎng)頁內(nèi)容的過濾技術(shù)是指對日志記錄中URL對應(yīng)的網(wǎng)頁進(jìn)行文本分類，來判斷其是否包含用戶興趣，予以過濾，這是本文的主要內(nèi)容。其主要包括網(wǎng)頁結(jié)構(gòu)信息的KNN分類和網(wǎng)頁正文信息的SVM分類兩個部分，最后根據(jù)兩個分類器的結(jié)果進(jìn)行判斷。基于網(wǎng)頁內(nèi)容的日志過濾雖然在過濾階段效率上不如基于鏈接規(guī)則的日志過濾，但是它可以解決基于規(guī)則過濾的人工校對效率低和易失效的缺點(diǎn)，并且擁