漢語文本主題分析技術(shù)的研究與實(shí)現(xiàn).pdf

1、在當(dāng)今全球信息一體化的時(shí)代，網(wǎng)絡(luò)資源的不斷增長提供給人們的電子文本信息越來越多。人們能從這些文本信息中獲取大量的知識或技能，但又面臨著信息太多而時(shí)間不夠的問題。雖然目前有很多搜索網(wǎng)站，人們可以通過搜索關(guān)鍵詞的方式來查找相關(guān)信息，但搜索出來的信息量依然太多，往往只有人們閱讀完文本后才發(fā)現(xiàn)不是所需要的信息。因此，如何能有效地對文本進(jìn)行主題分析成為迫切需要解決的問題。
　　本文針對文本主題分析技術(shù)中的主題分割和主題識別展開了研究，主要包

2、括以下幾部分工作：
　　首先，分析了當(dāng)前文本主題分析技術(shù)的研究現(xiàn)狀、相關(guān)的概念與現(xiàn)有的技術(shù)，并分析了自然語言處理中常用的評價(jià)方法如何在文本主題分析中得到使用。
　　其次，本文提出了基于SVO的段落相似度計(jì)算方法，并將該方法應(yīng)用到文本主題分割中。接著，提出了基于關(guān)鍵句的文本主題識別方法。該方法是基于文本主題分割后的結(jié)果，對每個(gè)相對獨(dú)立的主題文本塊進(jìn)行主題識別，找出適合做文本塊主題的關(guān)鍵句，并將其進(jìn)行處理使得關(guān)鍵句語義完整。將這

3、種主題分割和主題識別的方法統(tǒng)稱為基于統(tǒng)計(jì)的文本主題分析技術(shù)。實(shí)驗(yàn)結(jié)果表明該技術(shù)在文本主題分割中比傳統(tǒng)的建立段落向量空間模型計(jì)算連續(xù)段落相似度的方法更有效，在主題識別上找出的關(guān)鍵句在一定程度上優(yōu)于MicrosoftWord尋找的關(guān)鍵句。
　　另外，針對上面先進(jìn)行主題分割后進(jìn)行主題識別的方法導(dǎo)致主題漏識的情況，提出了統(tǒng)計(jì)與知識相結(jié)合的文本主題分析技術(shù)。該技術(shù)中使用了同義知識和主題知識，先進(jìn)行主題識別再進(jìn)行主題分割，將主題分割后的文本塊