基于維諾圖的不均衡數(shù)據(jù)集分類研究.pdf

1、數(shù)據(jù)分類作為數(shù)據(jù)挖掘中備受關注的一個研究方向，已經(jīng)有了許多研究成果，這些成果大多在數(shù)據(jù)集中樣本分布均衡的條件下能夠取得很好的結果，但是在實際場景中，常見的需要被分類的數(shù)據(jù)集在分布狀態(tài)上普遍都有不均衡的特點。所謂不均衡，指的是在整個數(shù)據(jù)集中，某個類別占的比例相對比較大，其他類別占的比例相對較小，占比大的樣本實例一般劃分為多數(shù)類，占比小的樣本實例則劃分為少數(shù)類。在類別比例不均衡的數(shù)據(jù)集里，少數(shù)類樣本相對決策邊界的分布具有差異性，越靠近決策邊

2、界被錯分的可能性越大，基于此，本文提出通過數(shù)據(jù)集構造維諾圖，按照少數(shù)類樣本相對于決策邊界的分布差異，賦予每個少數(shù)類樣本不同的權重，計算權重符合規(guī)則的樣本的采樣概率，隨機選取樣本合成人工少數(shù)類?；诰S諾圖的不均衡數(shù)據(jù)集分類主要提出以下改進：
　　1.新的邊界識別方法。不均衡數(shù)據(jù)集中越靠近決策邊界的少數(shù)類樣本分類意義越高，傳統(tǒng)的分類算法并未對這種差異性做出比較妥善的處理。本文通過構造維諾圖找到分隔少數(shù)類與多數(shù)類樣本之間的維諾邊作為近似

3、決策邊界集合，計算每個少數(shù)類樣本到邊界集的最小距離作為少數(shù)類樣本的邊界度；
　　2.基于邊界度的采樣策略。根據(jù)邊界樣本集確定新的邊界，利用新的邊界對邊界度進行一定的變換后代入以自然常數(shù)e為底的指數(shù)函數(shù)，利用所有樣本的函數(shù)值進行歸一化，最終得到每個少數(shù)類樣本的采樣概率，然后隨機選擇樣本進行過采樣。上述兩步稱之為V-synthⅠ算法。
　　3.處理局部不均衡。上述算法使用樣本到?jīng)Q策邊界的距離作為權重來劃分邊界樣本，這種方式更靈活

4、、準確。但是只根據(jù)少數(shù)類樣本的分布差異計算采樣概率，沒有考慮多數(shù)類分布對少數(shù)類的影響，可能出現(xiàn)數(shù)據(jù)集整體均衡而局部不均衡的現(xiàn)象。為此，在V-synthⅠ算法的基礎上使用層次聚類中的凝聚類方法對多數(shù)類聚類，形成若干個簇，計算每個簇中多數(shù)類的分布密度以及多數(shù)類簇對少數(shù)類樣本點的影響因子，更新樣本的采樣概率。該算法稱之為V-synthⅡ算法。
　　通過人為構造特殊分布的數(shù)據(jù)集和選取分類問題中常用的UCI數(shù)據(jù)集用于實驗分析，利用上述的兩種