中文信息過濾技術(shù)的研究.pdf

1、近年來，Internet的迅速發(fā)展給人們帶來諸多方便的同時，也帶來了諸如信息過載、信息迷向等很多問題，為了克服這個問題，有必要對Web信息過濾技術(shù)進(jìn)行研究。中文文本信息過濾是中文信息處理的主要方向之一，它根據(jù)用戶的需求，在動態(tài)的信息流中搜索用戶感興趣的信息，屏蔽其它無用的信息。為用戶獲取和使用信息提供便利。 網(wǎng)頁文本的提取是進(jìn)行信息過濾處理的前提。本文對網(wǎng)頁的源碼進(jìn)行結(jié)構(gòu)和控制符進(jìn)行了分析，實(shí)現(xiàn)了文本提取和中文分詞的程序，使用該

2、程序可以從這些文本中提取關(guān)鍵詞形成關(guān)鍵詞集合，文檔以這些關(guān)鍵詞來表示時，信息的處理就變的簡單了。 目前在數(shù)據(jù)挖掘的諸多方法中，基于ID3算法的決策樹方法是信息過濾中采用較廣泛的方法。在對ID3算法學(xué)習(xí)分析研究的基礎(chǔ)上，實(shí)現(xiàn)了一個基于ID3算法的決策樹分類程序，該程序可以對中文信息進(jìn)行有效的分類。此外，該程序還可以從分類數(shù)據(jù)中提取分類規(guī)則，這些規(guī)則可以根據(jù)需要進(jìn)行增加、刪除和修改。實(shí)驗結(jié)果表明決策樹分類器確實(shí)是一種有效的分類技術(shù)。

3、 基于貝葉斯網(wǎng)絡(luò)模型的分類是當(dāng)前數(shù)據(jù)挖掘領(lǐng)域的一個有實(shí)用價值的研究熱點(diǎn)。本文從兩個方面對貝葉斯分類模型進(jìn)行了研究和程序?qū)崿F(xiàn)：樸素貝葉斯分類與屬性關(guān)聯(lián)貝葉斯分類。雖然樸素貝葉斯網(wǎng)是一種簡單而有效的分類模型，但它的屬性獨(dú)立性假設(shè)使其無法表達(dá)屬性變量間存在的依賴關(guān)系，影響了它的分類性能。通過對關(guān)鍵詞集合進(jìn)行分析，根據(jù)關(guān)鍵詞出現(xiàn)的規(guī)律，提出了一種建立屬性間依賴關(guān)系的方案，實(shí)現(xiàn)了一個基于屬性關(guān)聯(lián)的貝葉斯分類器，并和決策樹、向量空間模型、B