網(wǎng)絡(luò)信息采集及智能處理技術(shù)研究.pdf

1、無(wú)論是科研還是學(xué)習(xí)人們都需要通過(guò)網(wǎng)絡(luò)去尋找最新的專(zhuān)業(yè)信息和新聞動(dòng)態(tài)，但信息的爆炸式增長(zhǎng)，也讓人們?cè)絹?lái)越難以從信息海洋中快速獲取所需信息。一方面是因?yàn)榫W(wǎng)絡(luò)信息量與日俱增，且更新速度非常快，需要投入大量的時(shí)間進(jìn)行信息的搜索；另一方面，網(wǎng)絡(luò)上的信息存在大量重復(fù)的現(xiàn)象，且格式非常不規(guī)范，更加大了用戶(hù)搜尋信息的難度。因此，對(duì)網(wǎng)絡(luò)信息進(jìn)行快速采集和智能處理的技術(shù)應(yīng)運(yùn)而生。
　　 用戶(hù)可以通過(guò)搜索引擎檢索出大量信息，卻不能對(duì)信息進(jìn)行提取、組織

2、和處理，隨著信息化的進(jìn)步，人們對(duì)獲取信息的要求越來(lái)越高，信息搜索也從“通用”進(jìn)入“個(gè)性和智能”。目前市面上已經(jīng)出現(xiàn)了很多信息采集的工具，這些工具可以在一定程度上滿(mǎn)足用戶(hù)獲取信息的需求，但是對(duì)信息的處理卻不盡人意。由于文本信息占據(jù)網(wǎng)絡(luò)中信息的大部分，因此如何自動(dòng)地分類(lèi)網(wǎng)絡(luò)中的文本信息成為信息處理的重中之重。
　　 本論文在分析現(xiàn)有信息采集和信息處理技術(shù)的基礎(chǔ)上，首先對(duì)網(wǎng)頁(yè)抓取工具網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行介紹，分析其采集網(wǎng)頁(yè)信息的原理及網(wǎng)頁(yè)去重

3、和信息抽取的方法；然后對(duì)智能信息處理中的文本分類(lèi)這一關(guān)鍵技術(shù)進(jìn)行了深入研究，改進(jìn)了現(xiàn)有的特征選擇方法和分類(lèi)算法，并采用改進(jìn)的KNN算法構(gòu)造了一個(gè)文本自動(dòng)分類(lèi)器，將搜狗語(yǔ)料庫(kù)作分類(lèi)模型的訓(xùn)練語(yǔ)料庫(kù)，通過(guò)實(shí)驗(yàn)訓(xùn)練出適應(yīng)于該語(yǔ)料庫(kù)的最佳K值和特征維數(shù)，同時(shí)驗(yàn)證了改進(jìn)的KNN算法的分類(lèi)效果。
　　 本論文的創(chuàng)新之處是：
　　 (1)對(duì)文本信息處理中的特征選擇方法進(jìn)行了改進(jìn)，提出了同義詞合并的思想，引入《同義詞詞林》，在特征選擇之

4、前先對(duì)特征項(xiàng)中的同義詞進(jìn)行替換、統(tǒng)計(jì)，有效降低了特征空間的維數(shù)。
　　 (2)提出了一種改進(jìn)的KNN算法，通過(guò)引入類(lèi)中心向量對(duì)相似度計(jì)算公式進(jìn)行了改進(jìn)，將待分類(lèi)的測(cè)試文本與類(lèi)別的距離作為參數(shù)加入到KNN算法的相似度計(jì)算公式中，把兩個(gè)文本中都出現(xiàn)的特征項(xiàng)數(shù)量與各自出現(xiàn)的特征項(xiàng)數(shù)量的最大值的比值作為相似度公式的調(diào)節(jié)因子。
　　 (3)結(jié)合改進(jìn)的KNN算法，構(gòu)造一個(gè)文本自動(dòng)分類(lèi)器，在分類(lèi)階段優(yōu)先考慮待分類(lèi)的測(cè)試文本與各類(lèi)別之間