應(yīng)用于文本搜索引擎的聚類算法研究.pdf

1、當(dāng)今搜索引擎應(yīng)用中亟待解決的一個(gè)問題是：如何針對(duì)用戶的非確切性查詢返回一個(gè)較為友好的查詢結(jié)果，最大限度地提高用戶的查詢效率。傳統(tǒng)搜索引擎應(yīng)用如Google、百度、Bing等，由于僅僅采用經(jīng)典的相關(guān)度排序算法顯示所有查詢結(jié)果，使得用戶經(jīng)常把時(shí)間浪費(fèi)在過濾大量無關(guān)信息的工作上，查詢效率較低，用戶友好程度不高。因此，如何有效地對(duì)查詢結(jié)果的標(biāo)題和摘要信息聚類化，使之能返回一個(gè)友好的聚類查詢結(jié)果，是當(dāng)前的研究熱點(diǎn)之一。
　　文本聚類的首要問

2、題是如何將文本數(shù)據(jù)用數(shù)學(xué)形式表示。目前多數(shù)文本聚類算法采用向量空間模型（VectorSpaceModel，VSM）為基礎(chǔ)，雖然簡(jiǎn)單，卻容易引起“高維稀疏”問題，而且，對(duì)于同義詞、多義詞的處理也沒有得到很好的解決，造成聚類的效率和準(zhǔn)確程度降低，聚類效果不佳。本文針對(duì)中文的文本聚類技術(shù)，對(duì)文本搜索引擎中的聚類算法進(jìn)行了研究，使用一種基于后綴樹與《知網(wǎng)》語(yǔ)義相似度計(jì)算的中文文本聚類算法，結(jié)合相應(yīng)開發(fā)工具，實(shí)現(xiàn)了一個(gè)中文聚類搜索引擎（Chine

3、seClusteringSearchEngine，CCSE）。該方法首先通過后綴樹算法將搜索結(jié)果的逐條文本建立到一顆后綴樹上，同時(shí)選擇出那些包含名詞（或動(dòng)詞、形容詞等），并且最后是名詞（或動(dòng)詞）結(jié)尾的短語(yǔ)；然后結(jié)合TF-IDF（TermFrequency–InverseDocumentFrequency，一種用于詞頻統(tǒng)計(jì)的權(quán)值計(jì)算方法）評(píng)分確定出所有后綴短語(yǔ)中描述性較強(qiáng)的短語(yǔ)作為候選聚類標(biāo)簽；再按照后綴樹聚類算法（SuffixTreeC

4、lustering，STC）根據(jù)已選定的候選聚類標(biāo)簽進(jìn)行聚類合并；接著利用語(yǔ)義相似度計(jì)算方式對(duì)剩下的標(biāo)簽短語(yǔ)進(jìn)行逐一計(jì)算比較，找出其中語(yǔ)義相似度較高的短語(yǔ)進(jìn)行合并，只保留它們中得分最高的那個(gè)；最后，再使用聚類內(nèi)部相似度(Intra-ClusterSimilarity，ICS)來保證聚類內(nèi)部各摘要之間的高度相似性，淘汰掉一些與聚類中心向量的平均相似度較低的聚類，產(chǎn)生最終呈現(xiàn)給用戶的聚類結(jié)果。其中，在語(yǔ)義相似度計(jì)算方面，本文利用《知網(wǎng)》工具

5、選用了一種面向語(yǔ)義、可擴(kuò)展的相似度計(jì)算方法?？梢酝ㄟ^對(duì)未登錄詞進(jìn)行適當(dāng)?shù)母拍钋蟹?、自?dòng)生成語(yǔ)義，較好的解決了未登錄詞不能有效參與語(yǔ)義相似度計(jì)算的問題，增強(qiáng)了聚類效果；同時(shí)，由于整個(gè)算法是由確定理想聚類標(biāo)簽開始的，使得在聚類呈現(xiàn)階段，該方法還可以保證聚類標(biāo)簽?zāi)軌蜉^好的反映出聚類內(nèi)容，從而優(yōu)化了查詢的呈現(xiàn)效果。
　　論文首先對(duì)聚類算法在搜索引擎中的應(yīng)用可行性進(jìn)行了分析，對(duì)搜索引擎的結(jié)構(gòu)、聚類模型、以及《知網(wǎng)》工具進(jìn)行了介紹；然后對(duì)文本