數據流挖掘若干技術研究及其在電信行業(yè)的應用.pdf

1、隨著計算機技術的發(fā)展、網絡應用的普及、數字化通信技術的廣泛應用，數據流逐漸成為電信行業(yè)中的主要數據類型之一。與傳統(tǒng)數據類型相比，數據流具有有序、高頻更新以及潛在無邊界等特性，難以使用傳統(tǒng)的數據挖掘方法進行分析，這給數據挖掘技術及其在電信行業(yè)的應用帶來了挑戰(zhàn)。
　　 本文以電信行業(yè)實際應用為背景，以基于數據流全局數據特征的建模分析方法取代目前被廣泛采用的以局部數據為樣本的數據流挖掘算法，以提高時間效率與預測精度。針對數據流頻繁項集

2、挖掘主題，提出基于最大頻率時間窗模型的GGACFI-MFW算法，實現對數據流全局頻繁項集的在線挖掘；針對數據流分類預測問題，提出基于數據流頻繁模式的CBMP算法，實現對帶有概念漂移的數據流進行在線分類預測；針對數據流趨勢預測問題，提出最大最小頻率時間窗模型的MM-FTP算法，實現對數據流數據對象頻繁度變化趨勢的實時監(jiān)控及預測；結合電信企業(yè)工程實踐經驗，設計一套電信業(yè)數據流商業(yè)智能管理系統(tǒng)，實現對電信數據流的實時監(jiān)控與在線分析。
　

3、　 本文的主要研究內容和貢獻包括：
　　 Ⅰ.針對數據流頻繁項集挖掘問題，提出GGACFI-MFW(Generating GlobalApproximate Frequent Itemsets on Max-Frequency Window model)算法，實現準確、高效地挖掘全局頻繁項集；設計一種新的最大頻率模式樹MFP-Tree(Max-Frequency Pattern Tree)結構存儲概要信息，采用自適應的方法為每

4、個數據項集單獨劃分時間窗口；提出一種新的選擇性更新機制，只對最新到達的事務子集進行更新，通過候選集控制對頻繁模式樹的橫向遍歷，提高算法更新效率。與現有頻繁項集挖掘算法相比，GGACFI-MFW算法不僅時間效率高，且能夠根據數據自身特性，找到更多的頻繁項集。
　　 Ⅱ.針對帶有概念漂移的數據流在線分類問題，提出一種基于全局頻繁模式的數據流分類算法CBMP(Classification Based on Max-frequency

5、Pattern)，將概要數據存儲于一種新的最大頻率模式分類樹CMFP-Tree(Classification on Max-Frequency Pattern Tree)中，使用模糊的方法構建分類器，在線更新概要信息與分類器，實現對數據流數據的實時分類預測。在概念漂移特征顯著的情況下，CBMP算法的預測精度與時間效率均高于現有其他數據流分類算法。
　　 Ⅲ.針對數據流數據對象的頻繁度變化趨勢預測問題，在最大頻率模式樹MFP-Tr

6、ee的基礎上設計一種新的最大最小頻率模式樹MMFP-Tree(Max-Min-Frequency Pattern Tree)，存儲數據流頻繁趨勢預測算法中所需要的概要信息；提出一種新的數據對象頻繁度變化趨勢衡量指標--頻繁度變化率，對數據對象的頻繁度變化趨勢進行定量描述；提出一種預測數據對象頻繁度變化趨勢的最大最小頻繁趨勢預測算法MM-FTP(Max-Min-Frequency Tendency Prediction)，能夠在有限的空間

7、內高效、準確地找到數據對象的頻繁度變化趨勢；將連續(xù)屬性離散化，MM-FTP算法同樣能夠預測傳統(tǒng)的指數型數據流的變化趨勢；與基于頻繁模式的分類預測算法CBMP結合，該算法能夠對分類器置信度變化趨勢進行預測。
　　 Ⅳ.針對電信行業(yè)數據流在線分析處理需求，結合靜態(tài)數據挖掘在電信行業(yè)的應用實例及電信業(yè)數據挖掘方法論，設計實現了一套針對電信行業(yè)的數據流商業(yè)智能管理系統(tǒng)，將數據流頻繁項集挖掘技術、數據流在線分類預測技術、數據流趨勢預測技術