結(jié)合本體HowNet的中文文本分類研究.pdf

1、互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的迅速發(fā)展不但使得網(wǎng)絡(luò)上的電子文本數(shù)量急劇增加而且改變了人們獲取信息的方式。如何對(duì)這樣數(shù)量龐大的電子文本進(jìn)行有效的組織管理以方便人們快速、準(zhǔn)確而全面地獲取潛在的、有價(jià)值的知識(shí)和信息是信息處理技術(shù)的一項(xiàng)重要課題。文本分類技術(shù)作為解決這一問(wèn)題的關(guān)鍵技術(shù)之一，已經(jīng)成為信息技術(shù)領(lǐng)域的主要研究方法。同時(shí)，作為信息檢索、信息推送和信息過(guò)濾等領(lǐng)域的基礎(chǔ)技術(shù)，文本分類有著重要的學(xué)術(shù)價(jià)值和廣泛的應(yīng)用前景。
　　對(duì)高維特征集合進(jìn)行

2、降維，是文本分類的關(guān)鍵技術(shù)之一。進(jìn)行特征降維的目的是：通過(guò)有效的選擇方法留下那些最具有類別區(qū)分能力的特征項(xiàng)，構(gòu)成能夠表現(xiàn)文本內(nèi)容的最優(yōu)特征子集。現(xiàn)有的基于詞頻統(tǒng)計(jì)思想的特征選擇方法存在的問(wèn)題包括：一是忽略了特征項(xiàng)本身的語(yǔ)義信息，即它和類別之間的語(yǔ)義聯(lián)系；二是特征項(xiàng)之間存在語(yǔ)義冗余；三是語(yǔ)義冗余使得維數(shù)有限的特征空間無(wú)法容納更多的對(duì)分類有用的特征項(xiàng)。在分析現(xiàn)有特征降維的思想和方法的基礎(chǔ)上，本文重點(diǎn)探討結(jié)合本體的特征降維方法。
　　本

3、體是對(duì)某個(gè)領(lǐng)域知識(shí)的系統(tǒng)描述，描述對(duì)象包括概念以及概念之間的關(guān)系。因此，把本體引入到文本分類的研究中，可以解決傳統(tǒng)的文本表示模型和特征選擇方法所存在的語(yǔ)義問(wèn)題。在學(xué)習(xí)和研究中文本體HowNet的基礎(chǔ)上，本文提出一種基于概念映射的二次特征降維方法。先利用傳統(tǒng)的效果較好的特征選擇方法選出一個(gè)候選特征集合，再利用HowNet對(duì)候選特征進(jìn)行概念映射操作，最后進(jìn)行第二次特征選擇得到最終的特征子集。這樣既保持了向量空間模型在文本形式化及數(shù)學(xué)計(jì)算方面

4、的優(yōu)勢(shì)，又使選出的特征項(xiàng)盡可能攜帶語(yǔ)義信息并在一定程度上消除特征項(xiàng)之間的語(yǔ)義冗余，從而更符合特征選擇的初衷----選出能表現(xiàn)文本內(nèi)容的最優(yōu)特征子集。因此，本文提出的特征選擇方式并不是針對(duì)某一種具體的特征選擇方法所做的改進(jìn)，而是就特征選擇這一問(wèn)題本身進(jìn)行的一些探索。
　　最后，在中文文本分類實(shí)驗(yàn)平臺(tái)上通過(guò)多組對(duì)比實(shí)驗(yàn)來(lái)考察本文提出的基于概念映射的二次特征降維方法的有效性。采用查全率、查準(zhǔn)率和F1值等指標(biāo)分析實(shí)驗(yàn)數(shù)據(jù)。結(jié)果表明本文提出