基于密度的局部離群點(diǎn)檢測(cè)算法的研究與改進(jìn).pdf

1、離群點(diǎn)是指數(shù)據(jù)集中和常規(guī)數(shù)據(jù)對(duì)象的產(chǎn)生機(jī)制完全不同的，不符合數(shù)據(jù)的一般規(guī)律，偏離常規(guī)數(shù)據(jù)對(duì)象的數(shù)據(jù)點(diǎn)，但是它們又可能包含著我們?nèi)菀缀雎缘姆浅Ｖ匾男畔?。如在信用卡欺詐偵查、移動(dòng)通訊等領(lǐng)域中，離群點(diǎn)是我們研究的主要對(duì)象。離群點(diǎn)會(huì)使我們從新的角度考慮問題，從而發(fā)現(xiàn)新的理論或者應(yīng)用。
　　離群檢測(cè)技術(shù)具有重要的研究?jī)r(jià)值且廣泛的應(yīng)用在藥物研究、用戶行為分析、網(wǎng)絡(luò)入侵檢、股票證券交易、工業(yè)減損、金融等領(lǐng)域中。在金融分析中通過分析交易數(shù)據(jù)，檢

2、測(cè)是否存在金融欺詐;在市場(chǎng)分析中可用于確定極低或極高收入客戶的消費(fèi)行為，進(jìn)而對(duì)客戶分析、分類，然后對(duì)市場(chǎng)進(jìn)行定向和預(yù)測(cè);在醫(yī)療分析中在醫(yī)療分析中用于發(fā)現(xiàn)多種治療方式的不尋常反應(yīng)等。目前如何在大規(guī)模高維數(shù)據(jù)集中迅速有效地發(fā)現(xiàn)并處理異常對(duì)象成為一個(gè)很值得研究且很具有挑戰(zhàn)性的問題。
　　離群點(diǎn)檢測(cè)的算法有很多，大體上可以分為:基于統(tǒng)計(jì)學(xué)的、基于距離的、基于密度的和基于偏移的離群點(diǎn)檢測(cè)算法等。目前人工智能，機(jī)器學(xué)習(xí)和模式識(shí)別等領(lǐng)域發(fā)展越來

3、越快，越來越多有效、新穎的離群點(diǎn)檢測(cè)方法和技術(shù)也隨之出現(xiàn)，包括自組織映射技術(shù)，人工神經(jīng)網(wǎng)絡(luò)技術(shù)，模糊粗糙集技術(shù)和分區(qū)技術(shù)等。然而現(xiàn)有的大多數(shù)離群點(diǎn)檢測(cè)算法在一定程度上均存在一些缺點(diǎn):檢測(cè)精度不高，時(shí)間復(fù)雜度高，參數(shù)的設(shè)置對(duì)用戶的依賴性比較強(qiáng)和算法的可伸縮性差等。
　　針對(duì)大多數(shù)算法的檢測(cè)精度不高，時(shí)間復(fù)雜度高局限性和算法的可伸縮性差的不足，本文在基于密度的局部離群點(diǎn)檢測(cè)算法研究基礎(chǔ)上提出了一種改進(jìn)算法:(1)改進(jìn)算法通過使用多組不

4、同的參數(shù)得到不同的DBSCAN聚類結(jié)果，再對(duì)聚類結(jié)果進(jìn)行整合，剪枝，得到初步異常數(shù)據(jù)集。使用多組參數(shù)進(jìn)行聚類的目的是為了避免位于簇邊緣的數(shù)據(jù)點(diǎn)被錯(cuò)剪，這樣既能達(dá)到降低計(jì)算復(fù)雜度的效果，又能保證檢測(cè)的精確度;(2)引入去一劃分信息熵增量的概念，對(duì)數(shù)據(jù)對(duì)象的屬性加權(quán)量化，給不同貢獻(xiàn)度的屬性分配不同的權(quán)值。之前的檢測(cè)算法中屬性的權(quán)值都是由專家決定的，有很大的人為因素，這就會(huì)對(duì)檢測(cè)結(jié)果有很大的影響，去一劃分信息熵增量就很好的解決了這一問題，也能