文本特征抽取方法的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷普及，人類的知識正通過互聯(lián)網(wǎng)這個(gè)平臺(tái)不斷的實(shí)現(xiàn)資源共享。但是，由于互聯(lián)網(wǎng)上的資源是非常龐大、無組織且不斷更新的，人們想要從浩瀚的互聯(lián)網(wǎng)資源中及時(shí)地提取出自己關(guān)注的內(nèi)容是非常困難的。因此，文本挖掘技術(shù)應(yīng)運(yùn)而生。而文本特征抽取，是提高文本挖掘效率和正確率的根本前提。
　　 粗糙集理論是20世紀(jì)發(fā)展起來的一種新的處理模糊性和不確定性知識集合的數(shù)學(xué)工具。在信息系統(tǒng)分析，數(shù)據(jù)挖掘等領(lǐng)域具有很高的應(yīng)用價(jià)值。
　　

2、 本文重點(diǎn)介紹了粗糙集理論的基本概念、基本方法。分析了當(dāng)前比較流行的文本特征抽取的方法，從算法的特征約簡率和文本正確分類率兩個(gè)方面，對當(dāng)前算法進(jìn)行了比較與分析。在此基礎(chǔ)上，本文根據(jù)文本特征約簡的根本目的，以及粗糙集理論關(guān)于決策屬性相對于條件屬性的依賴程度的基本原理，提出了新的文本特征屬性重要度的計(jì)算方法，該文本特征屬性重要度是基于特征權(quán)重在文本類內(nèi)方差和類間方差而計(jì)算得到的。這種文本特征屬性重要度的計(jì)算方式，可以根據(jù)文本特征屬性的分類能

3、力確定該特征屬性的重要度。在文本預(yù)處理階段，本文的基于WordNet將文本詞條向量提升為文本概念向量，解決了“同義詞”問題。為了進(jìn)一步提高文本特征的約簡率，本文提出了屬性相關(guān)度分析方法，該方法可以確定兩個(gè)特征屬性相對文本分類所起到作用的近似程度，并在此基礎(chǔ)上剔除相關(guān)度較高的屬性，從而提高屬性約簡率。結(jié)合WordNet、新的特征屬性重要度定義，以及屬性相關(guān)度分析理論，本文設(shè)計(jì)了一套完整的文本特征約簡算法(Text Feature Extr