中文web文本過濾技術研究.pdf

1、隨著Internet的日益普及，人們對網(wǎng)絡的依賴程度越來越高，互聯(lián)網(wǎng)的平等性、開放性、無界性等導致了網(wǎng)絡的無限制濫用，大量的垃圾及敏感信息充斥于網(wǎng)絡，特別是對廣大青少年學生，一些“有害信息”正在威脅著他們的身心健康。如何協(xié)助用戶更加方便有效地利用現(xiàn)有的網(wǎng)絡資源，并且從中獲得真正有用的信息，是信息處理的一個研究方向。
　　當前的網(wǎng)頁過濾系統(tǒng)主要采用URL過濾和關鍵字過濾的技術，而這些技術在網(wǎng)頁過濾的準確性和速度方面都存在不足。要提高

2、網(wǎng)頁過濾的準確性和速度，必須對網(wǎng)頁內容進行深度分析。網(wǎng)頁是一種結構化的文檔，DOM是一個針對HTML和XML文檔進行靈活操作的編程接口。在對網(wǎng)頁結構進行詳細分析后，本文提出了按照結構對網(wǎng)頁進行解析，利用DOM技術提取網(wǎng)頁文檔的不同元素中的文本內容的方法。
　　本文首先闡述web上信息過濾的基本問題，包括信息過濾的基本原理、過濾系統(tǒng)的一般處理流程、過濾系統(tǒng)的分類以及過濾系統(tǒng)的性能評價指標等。然后，著重對web文本內容過濾中涉及的關鍵

3、技術進行深入地分析和探討，主要包括中文分詞技術、文本特征提取技術、用戶興趣模型的表示與更新以及文本過濾技術。針對當前網(wǎng)頁信息提取技術提取效率低的現(xiàn)狀，本文提出了基于HTML樹和內容分析的可適應性信息抽取方法。針對向量空間模型過濾器對網(wǎng)頁結構不分權重，使得過濾性能低的原因，本文改進了向量空間模型的文本向量表示形式，實驗結果驗證了改進的向量空間模型更適合網(wǎng)頁文本的過濾。在此研究基礎上，設計了一個中文web過濾原型系統(tǒng)，并對系統(tǒng)總體框架、功能