面向主題的網(wǎng)頁過濾機(jī)制研究.pdf

1、隨著Internet的日益普及和迅猛發(fā)展，人們對(duì)網(wǎng)絡(luò)的依賴程度越來越高，但I(xiàn)nternet的開放性、平等性、無界性等特征又導(dǎo)致了網(wǎng)絡(luò)的無限制濫用，大量的垃圾及敏感信息充斥于網(wǎng)絡(luò)，如何濾除這些垃圾及敏感信息，消除網(wǎng)絡(luò)帶來的消極及負(fù)面影響已成為Internet信息服務(wù)須解決的關(guān)鍵問題之一。解決這一問題的最有效技術(shù)手段就是進(jìn)行信息過濾。 文章在研究信息過濾一般原理及常用網(wǎng)頁過濾技術(shù)的基礎(chǔ)上，以需求為驅(qū)動(dòng)，從功能的角度出發(fā)，提出并構(gòu)建了

2、一個(gè)基于主題的網(wǎng)頁過濾體系，并對(duì)該體系進(jìn)行了較為深入的研究，主要的研究工作和取得的創(chuàng)新成果有以下幾個(gè)主要方面： 首先，分析了目前Internet中傳播的各種信息流，根據(jù)過濾需求對(duì)網(wǎng)絡(luò)中需要過濾的信息進(jìn)行了分類，明確定義了研究的主題領(lǐng)域，在此基礎(chǔ)上，設(shè)計(jì)了一個(gè)面向主題的信息過濾系統(tǒng)TSIFS，該系統(tǒng)采用分層的網(wǎng)頁過濾策略，在信息過濾的分類方案中引入了神經(jīng)網(wǎng)絡(luò)技術(shù)，利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力及適應(yīng)性彌補(bǔ)一般過濾機(jī)制的不足，從而可以提高了

3、網(wǎng)頁過濾的準(zhǔn)確性。 其次，為了處理的方便性，通過歸一化策略將Web頁面包含的多類型數(shù)據(jù)變換為文本信息進(jìn)行處理，在這一變換過程中結(jié)合了主題信息的過濾特征，利用主題專業(yè)詞匯及人工編輯辭典完成了文本向量的表示，設(shè)計(jì)了一個(gè)新的特征詞權(quán)重函數(shù)；另外還提出并設(shè)計(jì)了一種頁面字符編碼的判別算法。 再次，利用BP網(wǎng)絡(luò)構(gòu)建了基于神經(jīng)網(wǎng)絡(luò)的過濾信息分類模型，構(gòu)造了TSIFS中的過濾引擎處理機(jī)制，并對(duì)涉及的輸入向量正規(guī)化、參數(shù)選擇等關(guān)鍵問題進(jìn)行