基于信息理論的空間離群點挖掘技術(shù)研究.pdf

1、離群點挖掘已成為數(shù)據(jù)挖掘研究領(lǐng)域最活躍的分支之一。在數(shù)據(jù)庫、數(shù)據(jù)挖掘、機器學習和統(tǒng)計學等領(lǐng)域受到廣泛關(guān)注，在欺詐檢測、入侵檢測、故障檢測、生態(tài)系統(tǒng)失調(diào)、公共衛(wèi)生中的異常疾病的爆發(fā)、公共安全中的突發(fā)事件的發(fā)生、異常自然氣候的發(fā)現(xiàn)等應(yīng)用中有著廣闊的應(yīng)用前景。
　　 隨著傳感器設(shè)備技術(shù)的發(fā)展，數(shù)據(jù)采集設(shè)備的數(shù)量越來越多，精度越來越高，空間數(shù)據(jù)的數(shù)量越來越大，維數(shù)也越來越高。現(xiàn)有的針對空間數(shù)據(jù)的離群點挖掘方法主要是基于距離和基于密度的，

2、這些方法受到“維度災(zāi)難”和數(shù)據(jù)量伸縮性的挑戰(zhàn)?；谛畔⒗碚摰碾x群點檢測算法一般研究的是分類屬性并假設(shè)屬性之間相互獨立，由于空間數(shù)據(jù)的自相關(guān)性和異質(zhì)性，決定了現(xiàn)有的基于信息理論的離群點檢測方法也難以適應(yīng)數(shù)據(jù)挖掘，故基于信息理論的空間離群點挖掘算法還未見報道。
　　 因此，本文將根據(jù)空間數(shù)據(jù)自身的特點，基于綜合考慮信息熵和屬性之間關(guān)聯(lián)性的全息熵概念，研究基于全息熵的能同時適應(yīng)離散屬性和連續(xù)屬性的空間離群點檢測算法。論文主要工作如下:

3、
　　 (1)對現(xiàn)有的與空間離群點檢測相關(guān)的典型的離群點檢測算法進行分析和實驗比較，指出各自的優(yōu)勢及存在的局限。
　　 (2)針對現(xiàn)有的空間鄰居（域）的確定僅僅依靠空間關(guān)系，造成復(fù)雜度高的局限，提出利用空間標識屬性實現(xiàn)空間區(qū)域劃分，并利用空間標識屬性的層次特性建立層次樹，直到特定層次，即在一定區(qū)域內(nèi)才通過空間關(guān)系確立空間鄰居，并用R*-樹進行檢索，從而降低了計算復(fù)雜度，并為分布并行計算奠定了基礎(chǔ)。
　　 (3)針

4、對現(xiàn)有的空間離群點檢測算法難以適應(yīng)高維大數(shù)據(jù)的問題，提出綜合考慮信息熵和屬性之間互信息的全息熵的空間離群點挖掘算法。算法提出了針對不同類型屬性的相異度度量方法和基于相異度信息熵度量方法，并提出了基于信息熵的屬性權(quán)重計算方法。在此基礎(chǔ)上提出了基于加權(quán)的全息熵的離群度度量方法，并設(shè)計了基于離群度的空間離群點挖掘算法。理論和實驗結(jié)果均表明，由于算法綜合考慮了空間數(shù)據(jù)的特性，有效實現(xiàn)了數(shù)據(jù)劃分和權(quán)重的自動計算，在計算復(fù)雜度、計算精度、用戶依賴性