基于語義的信息過濾算法及其應用.pdf

1、在互聯(lián)網提供的海量、龐雜的信息中，不良信息以不同的表現(xiàn)形式，從不同的角度對不同人群造成毒害或干擾。因此，對網絡訪問進行必要的、有效的內容過濾是營造健康、安全網絡環(huán)境的重要環(huán)節(jié)。但是，傳統(tǒng)的文本信息過濾算法僅能實現(xiàn)結構對應層次上的判斷，無法體現(xiàn)文本的語義，過濾效果難以滿足智能化的要求。 本文結合計算語言學知識，提出并實現(xiàn)了基于語義的信息過濾算法。該算法包括對目標語句分詞、詞性標注、生成語義框架、計算兩語句對應的語義框架間的相似度等

2、關鍵環(huán)節(jié)。借助事先構建的詞庫，使用最大二分分詞法，將句子切分成用二叉樹表示的詞集合；借助語法規(guī)則庫和分詞結果中存儲的詞性和詞在句子中的位置信息，區(qū)分出關鍵字(主謂賓)，填充語義框架；按照給定的距離函數(shù)和詞語相似度計算規(guī)則，計算框架間的相似度；根據相似度是否大于閾值決定過濾與否。 此算法將兩語句語義相似程度的比較操作轉換成了數(shù)學計算，量化了語句間的語義相似度。試驗表明，其過濾效果較傳統(tǒng)算法在語義對應層次上有較大提高。 代理

3、服務器在Intranet管理中具有重要作用。本文實現(xiàn)了HTTP代理服務器，借助它，在應用層實現(xiàn)了對Web頁內容的語義過濾。并且，通過將客戶機成功訪問過的網頁內容存儲在代理服務器端，實現(xiàn)了Web頁訪問的內容重現(xiàn)。 為了提高過濾效率，本文依照分級過濾的思想，在網絡層以下，采用NDIS和HOOK技術，實現(xiàn)對流經代理服務器的數(shù)據包進行按端口、協(xié)議等過濾；在應用層，基于HTTP代理技術，對包含Web頁內容的應答數(shù)據包先進行關鍵字過濾，然后