基于Web日志挖掘系統(tǒng)的設計與實現.pdf

1、隨著互聯網的迅速普及和廣泛應用，Web上產生的信息也隨之飛速增長，如何從浩瀚的資料中挖掘出有價值的信息，受到各方面的關注。WWW網無論是在訪問量、規(guī)模上還是在網站設計的復雜度上都以驚人的速度增長著。像Web站點設計、Web服務設計和一些通過Web網站進行簡單的導航模式設計也都增大了設計的難度。為了更好地設計Web服務器，一個更好的方式就是分析原來的網站是如何被利用的。日志數據的分析可以通過統(tǒng)計數據的形式，像統(tǒng)計經常被訪問的頁面集、統(tǒng)計經

2、常需要分析的重要的表格數據、通過網站分析找出一般的訪問路徑模式等。Web日志挖掘就是運用數據挖掘的思想來對服務器日志進行分析處理，從而解決上面提出的各種問題。本研究在簡述了Web日志挖掘的概念、研究內容、關鍵技術和目前的國內外研究狀況的基礎上，針對某區(qū)政府門戶網站的訪問日志，采用數據挖掘技術進行數據分析，從而找出用戶訪問規(guī)律和內容喜好，為改進網站結構和內容提供了決策支持。論文所做的主要工作是： (1)對Web日志的預處理進行了研

3、究，給出了預處理的流程并分析了其中的難點；包括數據凈化、會話識別、用戶識別、路徑補充，并描述了預處理模型及其算法流程 (2)對其經典Apriori算法進行了剖析，提出了改進算法M-Apriori算法，并通過縮減數據項集的辦法來提高Apriori算法的執(zhí)行效率； (3)對路徑遍歷模式挖掘進行了研究，例如最大向前路徑生成算法，頻繁遍歷路徑挖掘算法，最大頻繁遍歷挖掘算法，并嘗試將其用到某區(qū)政府網站的挖掘之中； (4)根