高維海量數據集離群點挖掘算法研究及其應用.pdf

1、離群點挖掘是數據挖掘的重要研究內容之一,其研究目標旨在發(fā)現包含在數據中的少數異常而新穎的數據分布模式。近年來隨著應用的不斷深入而備受數據挖掘研究者們的關注,已經成為不斷探索并充滿創(chuàng)新的研究主題。在入侵檢測、風險控制、生物信息學研究等眾多特殊應用領域有著廣泛的應用前景。
　　 隨著網絡和數據庫技術高速發(fā)展,由此引發(fā)的數據爆炸使得面向大規(guī)模高維海量數據集的數據挖掘研究成為關鍵,很多原有的算法都不再有效,探索并構造具有高性能、高效率的

2、新算法是解決大規(guī)模高維海量數據挖掘問題的有效途徑,也是本文開展離群點挖掘問題研究的著眼點和出發(fā)點。
　　 根據大規(guī)模高維海量數據集數據分布特點,及大規(guī)模高維海量數據集挖掘所需解決的問題,本文對離群點的挖掘算法研究現狀和發(fā)展趨勢進行了探討和分析,并以大規(guī)模高維海量數據作為應用環(huán)境,分別探討了基于網格和密度的離群點挖掘、分布式離群點挖掘、增量式離群點挖掘以及基于隱私保護的離群點挖掘等解決方法.提出了一系列面向大規(guī)模高維海量數據集的有

3、效離群點挖掘算法。其中包括:
　　 1、從離群點定義所選擇的使用標準、技術背景、數據源的角度做了深入的分析,提出了離群點挖掘算法構造三維空間圖,總結得出針對大的高維數據集的離群點挖掘算法的構造以及評判的標準。
　　 2、提出利用信息論中的互信息計算進行特征選擇的方法進行降維,并借助LOF算法中局部密度的思想,考慮到局部密度對挖掘效果的影響,將數據集D中每一點對點p的影響因子之和用該點的局部密度函數即D中最靠近該點的n個數

4、據點對它的影響因子之和近似,提出了一種采用核密度函數的離群點挖掘改進算法Improved GridOf。3、采用自適應的最優(yōu)分隔面網格劃分,根據數據的分布特點進行網格劃分,在子空間找到最人覆蓋的稠密區(qū)域,論證了k維和k-1維稠密區(qū)域的關系,提出了GDLOF算法,證明了稠密網格和稠密區(qū)域中的點不可能成為離群點,由此可從稠密網格和稠密區(qū)域去除了大量的點.有效地減少LOF的計算量,快速挖掘群點。4、引入安全網格、離群網格的概念。采用重心作為代

5、表點和網格7元組,提出了基于網格和密度的海量數據增量式離群點挖掘算法IGDLOF,根據網格的不同特性區(qū)別處理,可避免所有數據參與所導致的重復計算。在原始的等距離網格劃分的基礎上對網格進行合并、分隔等操作,將網格細分形成的稠密網格所組成的稠密區(qū)域使其更接近_丁聚類,井可考慮邊界和鄰近的點,覆蓋的面積大,有效進行離群點挖掘。5、提出基于隱私保護的分布式離群點挖捌算法PPDOM,利用信息論中的熵值作為度量標準挖掘離群點,可以避免距離計算,消除