文本OLAP關鍵技術研究.pdf

1、隨著商業(yè)智能系統(tǒng)的廣泛應用,作為商業(yè)智能核心的數據倉庫也被廣泛應用以向決策支持系統(tǒng)提供數據。一種有效地利用數據倉庫中的數據進行分析的工具是聯機分析處理(Online Analytical Proeessing,OLAP),它的出現驅動了數據倉庫的產生和發(fā)展,反過來,數據倉庫技術又促進了OLAP技術的完善,基于數據倉庫的OLAP系統(tǒng)能夠進行數據分析、決策和預測,為多維數據在不同粒度上提供了靈活的表示方式。
　　一般而言,數據的存在方

2、式有兩種:結構化數據和非結構化數據。通常情況下,結構化數據以關系形式存在于關系數據庫中,而非結構化數據主要存在于文本中。據統(tǒng)計,只有20%的數據是結構化數據,這部分數據經過數據遷移和數據清理等操作后能夠直接用來進行OLAP分析;而其它80%的非結構化數據大部分是人與系統(tǒng)的交互信息或存在于文件中的文本信息,不能被傳統(tǒng)數據分析工具直接分析。文本信息在商業(yè)系統(tǒng)和互聯網上的不斷膨脹使得擴展傳統(tǒng)OLAP,使之既能分析結構化數據也能進行文本數據挖掘

3、的需求越來越強烈。
　　目前,文本OLAP技術已經成為數據庫領域的研究熱點,并且有了一些很好的成果,如MCX、Topic Cube等,這些方法大體上都是基于文本挖掘、信息檢索或信息抽取的方法,有著各自的優(yōu)缺點和適用領域。
　　本文在對文本OLAP研究意義、方法和已有的研究成果進行了概括介紹以后,結合B2C網站商業(yè)數據分析挖掘任務的應用背景,提出了一種新的框架來將OLAP和文本分析進行結合。與之前的文本OLAP方法相比,本文提

4、出的框架利用了信息抽取和文本挖掘的方法來進行非結構化數據的多維分析,構建了非結構化數據的文本維度,利用主題模型挖掘文本主題和生成摘要作為度量,使得度量具有更直觀明了的表達方式。本文所作的工作如下:
　　1.提出了一種半監(jiān)督的文本維度抽取算法。通過預先定義維的層次和指定少量維成員作為種子,利用抽取算法(co-EM)從商品介紹和用戶評論中發(fā)現和抽取新的維成員,以達到擴展文本維的目的。該抽取算法將抽取問題視為分類問題,先把詞分類為維、成

5、員、未標記和None四類,然后尋找維、成員這兩類之間的關聯,從而構建維.成員對,將其作為文本維。
　　2.提出了一種基于LDA(Latent dirichlet allocation)的評論集成的度量表示方法。利用主題模型(LDA),將客觀性強、結構良好的百科介紹和主觀性強的普通評論集成。百科介紹是指來自維基百科、百度百科等結構良好、主觀性弱的評論,如關于iphone4s的維基百科。以評論的主題和摘要的形式表示文本度量,它改變了以