面向智能信息檢索的Web挖掘關(guān)鍵技術(shù)研究.pdf

1、WWW自從1991年問(wèn)世以來(lái)得到了非常迅速的發(fā)展，為人們獲取各種信息提供了方便。隨著Internet技術(shù)的不斷發(fā)展和完善，WWW將會(huì)逐步成為人們獲取信息的一個(gè)重要渠道。如果說(shuō)，在信息量相對(duì)較少的時(shí)候，Internet為人們獲取信息提供了方便的話(huà)，隨著Internet上信息量的急劇增加，人們卻感覺(jué)到查找所需要的信息越來(lái)越困難了，其原因就在于傳統(tǒng)的信息檢索方式已越來(lái)越不適應(yīng)網(wǎng)上的海量信息，人們希望有更加智能化的信息檢索方式出現(xiàn)，以應(yīng)對(duì)海量信

2、息的檢索。 本文對(duì)面向智能信息檢索的Web挖掘的若干關(guān)鍵技術(shù)進(jìn)行研究，重點(diǎn)研究了數(shù)據(jù)預(yù)處理、Web頁(yè)面分類(lèi)/聚類(lèi)及Web用戶(hù)分類(lèi)/聚類(lèi)、概念檢索、個(gè)性化服務(wù)等問(wèn)題，提出或改進(jìn)了一些應(yīng)用于智能信息檢索的Web挖掘算法，應(yīng)用研究成果實(shí)現(xiàn)了一個(gè)小型智能化信息檢索的系統(tǒng)原型。 數(shù)據(jù)預(yù)處理包括基于PDF文件的信息抽取、中文文本分詞和Web日志預(yù)處理。對(duì)于PDF文件信息抽取，提出了基于格式注入的規(guī)則抽取和基于樹(shù)模型的信息抽取算法，在

3、人工標(biāo)注指導(dǎo)下學(xué)習(xí)信息抽取規(guī)則，取得了較高的信息抽取準(zhǔn)確率。對(duì)于中文文本分詞，提出了基于固定詞典和統(tǒng)計(jì)相結(jié)合的漸進(jìn)式豐富詞典的中文文本分詞方法，較好地解決了新詞識(shí)別問(wèn)題，相對(duì)于單純的詞典方法或統(tǒng)計(jì)方法，具有更好的分詞效果。Web日志預(yù)處理包括數(shù)據(jù)清洗、用戶(hù)識(shí)別、會(huì)話(huà)識(shí)別和路徑補(bǔ)充等工作，在分析已有工作的基礎(chǔ)上，重點(diǎn)討論了路徑補(bǔ)充問(wèn)題并提出了新的路徑補(bǔ)充算法，使Web日志預(yù)處理工作更加完善。 在中文頁(yè)面分類(lèi)研究中，討論了用于文本分

4、類(lèi)的各種方法，重點(diǎn)討論了對(duì)文本分類(lèi)具有較高分類(lèi)準(zhǔn)確率的k-近鄰方法。針對(duì)k-近鄰方法分類(lèi)效率不高的問(wèn)題，提出了基于密度的訓(xùn)練樣本集約減、漸進(jìn)式分類(lèi)等算法。通過(guò)計(jì)算訓(xùn)練樣本集中各類(lèi)別的類(lèi)別密度及整個(gè)訓(xùn)練集的平均密度，去掉高密度類(lèi)別中的部分樣本；漸進(jìn)式分類(lèi)模式模擬人工分類(lèi)文本的智能化形式，分為按標(biāo)題分類(lèi)、按關(guān)鍵段落分類(lèi)和按全文分類(lèi)三個(gè)層次，盡量減少分析全文的比例。實(shí)驗(yàn)表明，這兩個(gè)方面的改進(jìn)，不僅提高了k-近鄰方法的分類(lèi)效率，而且對(duì)其分類(lèi)準(zhǔn)確

5、率也有一定程度的提高，這說(shuō)明訓(xùn)練樣本集的約減使其具有更好的代表性，漸進(jìn)式文本分類(lèi)更符合人工智能分類(lèi)文本的模式。同時(shí)還討論了基于遺傳算法學(xué)習(xí)獲得k值和通過(guò)領(lǐng)域本體對(duì)文本進(jìn)行語(yǔ)義轉(zhuǎn)換等問(wèn)題。 在針對(duì)Web用戶(hù)分類(lèi)的討論中，考慮到Web日志數(shù)據(jù)含有較多噪音及用戶(hù)分類(lèi)特征不明顯的特性，利用神經(jīng)網(wǎng)絡(luò)方法具有較強(qiáng)抗噪音能力的特點(diǎn)，把神經(jīng)網(wǎng)絡(luò)方法用于Web用戶(hù)分類(lèi)，取得了較好的分類(lèi)效果。 在聚類(lèi)研究中，對(duì)各種常用的聚類(lèi)方法進(jìn)行了討論分

6、析，改進(jìn)了k-means聚類(lèi)方法和DBSCAN聚類(lèi)方法。針對(duì)k-means算法，提出了一種新的基于數(shù)據(jù)樣本分布選取初始聚類(lèi)中心的方法，提高了k-means算法的聚類(lèi)準(zhǔn)確率；針對(duì)DBSCAN算法，實(shí)現(xiàn)了鄰域半徑Eps和鄰域內(nèi)數(shù)據(jù)對(duì)象個(gè)數(shù)MinPts兩個(gè)重要參數(shù)的自動(dòng)選取，改進(jìn)后的算法不僅提高了其自動(dòng)化程度，而且更符合數(shù)據(jù)的實(shí)際分布，拓展了原有算法的聚類(lèi)能力。 結(jié)合智能信息檢索系統(tǒng)原型的建立，討論了概念檢索和個(gè)性化服務(wù)問(wèn)題。通過(guò)信息