流數(shù)據挖掘關鍵技術研究.pdf

1、流數(shù)據挖掘是對到達的數(shù)據流按照一定的序列進行挖掘，它和靜態(tài)數(shù)據關聯(lián)規(guī)則的挖掘的不同在于流數(shù)據具有高速、連續(xù)和無邊界等特性。流數(shù)據具有的獨特特性給數(shù)據挖掘和分析帶來一系列問題，比如如何快速高效的識別挖掘周期內的有效模式，模式以何種方式呈現(xiàn)能使使用者容易理解，高速數(shù)據挖掘中采用何種數(shù)據結構能有效的對數(shù)據模式進行維護、保存和刪除，如何選擇合適的挖掘周期，對于連續(xù)的流數(shù)據采用何種方式進行噪音處理等。
　　 論文在對以上問題研究的基礎上，

2、進一步對流數(shù)據指標的聚合在網絡中的應用進行了研究，多個指標如何反映到一個指標從而有利于業(yè)務管理者對業(yè)務進行有效的監(jiān)控和管理。同時，通過對流數(shù)據指標的動態(tài)學習，深度挖掘流數(shù)據的特性，使得業(yè)務提供者可以在更高層次上評估用戶使用業(yè)務的體驗。
　　 論文的主要工作和創(chuàng)新點簡要歸納如下：
　　 1）針對如何高效快速的識別挖掘周期內的有效模式，論文提出了一種大規(guī)模網絡中流數(shù)據事件關聯(lián)分析的算法EARA（Events Associat

3、ion Rules Analysis），通過EARA可以發(fā)現(xiàn)未知結構大規(guī)模網絡中的異常事件，并且可以使得用戶選擇置信度門限值以達到僅僅提取有效模式的目的。同時提出了一種可視化模式壓縮算法VPC（Visual Pattern Compress），解決了流數(shù)據挖掘中模式以何種方式呈現(xiàn)能使用戶容易理解的問題。實驗結果顯示EARA算法可以發(fā)現(xiàn)重要事件之間的關聯(lián)關系，而VPC算法進一步壓縮事件，使得使用者可以很容易從數(shù)以千計的關聯(lián)事件中發(fā)現(xiàn)有用的

4、模式。
　　 2）針對高速數(shù)據挖掘中采用何種數(shù)據結構能有效的對數(shù)據模式進行維護、保存和刪除問題，論文提出了一種在智能建筑中對于傳感網絡中的流數(shù)據進行增量知識挖掘的算法IKMM（Incremental Knowledge Mining Model），IKMM算法采用樹狀結構來提高挖掘效率，通過滑動窗口時間參數(shù)來控制樹狀結構的變化速度。另外，通過啟發(fā)式規(guī)則提高關聯(lián)規(guī)則的提取效率。通過同傳統(tǒng)的FUP2（Fast Update Patt

5、erns2）和AFPIM（Adjusting FP-Tree forIncremental Mining）算法進行對比，在高維情況下，IKMM算法是其他兩種算法效率的10倍以上。
　　 3）數(shù)據挖掘時機的確定是目前流數(shù)據關聯(lián)規(guī)則挖掘算法的研究熱點之一，就是在什么條件下需要重新運行挖掘算法提取關聯(lián)規(guī)則，并且在有限的系統(tǒng)資源下盡可能提高挖掘效率和減少挖掘成本。論文提出了一種在流數(shù)據挖掘算法中關聯(lián)規(guī)則提取時機的確定算法KRPB（Key

6、 Runtime Point Boundary），KRPB只對原始數(shù)據集進行一次掃描，在后續(xù)周期掃描中利用前次掃描的保存結果進行增量更新即可，在相鄰兩次原始數(shù)據集上取得支撐度附近的頻繁項集參與兩次數(shù)據集的變化差異程度的估計計算，從而確定是否需要運行挖掘算法進行數(shù)據模式的提取。
　　 4）為了對流數(shù)據特性進行有效監(jiān)控，即如何可視化流數(shù)據指標之間的內在本質聯(lián)系，論文對流數(shù)據的可視化數(shù)據挖掘進行了研究，即如何用可視化的方式來動態(tài)展示流

7、數(shù)據之間的內在關系，在這個基礎上提出了一種流數(shù)據增量式多維可擴展可視化挖掘算法IMDS（Incremental Multi-dimension Scaling）。IMDS通過數(shù)據表現(xiàn)的特征形狀進行聚類，并且聚類結果會隨著時間的推移用動態(tài)可視化的方式實時展現(xiàn)。通過仿真實驗表明，IMDS算法相比傳統(tǒng)的MDS（Multi-dimension Scaling）算法和簡易型SIMPLEX優(yōu)化算法在流數(shù)據挖掘中可以明顯地提高可視化挖掘效率和可視化效

8、果。
　　 5）針對流數(shù)據指標的聚合在網絡中的應用，論文對網絡底層數(shù)據流如何映射到業(yè)務層進行了研究，通過研究發(fā)現(xiàn)，如果能對底層數(shù)據流進行實時的聚合和分析，就能使得業(yè)務提供者實時觀察當前網絡和系統(tǒng)的健康狀況，進一步能覺察到用戶對當前業(yè)務的體驗狀況。論文參考TMF（Telecommunication Management Forum）規(guī)范的基礎上，提出了K2K（KPI toKQI）算法，使得不同量綱的流數(shù)據指標可以平滑聚合到同一指標

9、。但是在以上的聚合中存在如何分配流數(shù)據指標權重關系的問題，對此論文進一步提出了一種針對SLA（ServiceLevel Agreement）數(shù)據特性的模式提取算法SLAEP（SLA Extract Patterns）。本算法主要抽取出網絡數(shù)據流中關鍵性能指標和關鍵質量指標，根據用戶的體驗進行機器學習發(fā)現(xiàn)模式，利用將多維數(shù)據轉化成多維空間的映射點，有效的避免了求多個指標之間關聯(lián)度的問題，制定出一種實際運行中可以自動歸納總結滿足業(yè)務SLA策