中文網(wǎng)頁自動采集與分類系統(tǒng)設計與實現(xiàn).pdf

1、隨著科學技術的飛速發(fā)展，我們已經(jīng)進入了數(shù)字信息化時代。Internet作為當今世界上最大的信息庫，也成為人們獲取信息的最主要手段。由于網(wǎng)絡上的信息資源有著海量、動態(tài)、異構、半結構化等特點，且缺乏統(tǒng)一的組織和管理，所以如何快速、準確地從海量的信息資源中尋找到自己所需的信息已經(jīng)成為網(wǎng)絡用戶需要迫切解決的一大難題。因而基于Web的網(wǎng)絡信息的采集與分類便成為人們研究的熱點。
　　 傳統(tǒng)的Web信息采集的目標就是盡可能多地采集信息頁面，甚

2、至是整個Web上的資源，在這一過程中它并不太在意采集的順序和被采集頁面的相關主題。這就使得所采集頁面的內容過于雜亂，其中有相當大的一部分利用率很低，大大消耗了系統(tǒng)資源和網(wǎng)絡資源。這就需要采用有效的采集方法以減少采集網(wǎng)頁的雜亂、重復等情況的發(fā)生。同時如何有效地對采集到的網(wǎng)頁實現(xiàn)自動分類，以創(chuàng)建更為有效、快捷的搜索引擎也是非常必要的。網(wǎng)頁分類是組織和管理信息的有效手段，它可以在較大程度上解決信息雜亂無章的現(xiàn)象，并方便用戶準確地定位所需要的信

3、息。傳統(tǒng)的操作模式是對其人工分類后進行組織和管理。隨著Internet上各種信息的迅猛增加，僅靠人工的方式來處理是不切實際的。因此，網(wǎng)頁自動分類是一項具有較大實用價值的方法，也是組織和管理數(shù)據(jù)的有效手段。這也是本文研究的一個重要內容。
　　 本文首先介紹了課題背景、研究目的和國內外的研究現(xiàn)狀，闡述了網(wǎng)頁采集和網(wǎng)頁分類的相關理論、主要技術和算法，包括網(wǎng)頁爬蟲技術、網(wǎng)頁去重技術、信息抽取技術、中文分詞技術、特征提取技術、網(wǎng)頁分類技術