基于可擴展的支持向量機分類算法及在信用評級中的應用.pdf

1、支持向量機作為一種基于統計學習理論的新型機器學習方法，較好地解決了非線性、高維數、小樣本等實際問題，是機器學習領域新的研究熱點。但是目前來說支持向量機具有魯棒性較差、學習效率較低、分布式學習通信量大等缺陷。因此，本文針對支持向量機進行改進研究，包括在原有二叉樹支持向量機基礎上引入后驗概率、在引入后驗概率的基礎上將支持向量機向多類分類問題進行擴展、針對對等傳感器網絡的完全分布式的支持向量機學習，并在企業(yè)信用評級系統中進行應用研究。具體來說

2、，本文的主要工作和創(chuàng)新點總結如下:
　　 (1)后驗概率支持向量機方法對孤立點和噪聲具有魯棒性，并且可以減少支持向量的數量，從而降低了計算復雜度。因此，針對最近提出的快速分類算法c-BTS，引入樣本的后驗概率，提出了一種基于后驗概率的SVM決策樹算法(P2BTS)。實驗結果證明，P2BTS比c-BTS的分類精度更高，且基于后驗概率支持向量機(PPSVM)的P2BTS所需的二類分類器個數明顯比c-BTS少，這在一定程度上減少了P2

3、BTS分類決策的時間和比較的次數，提高了分類效率。
　　 (2)在考慮Fisher比可分性測度的基礎上，將PPSVM擴展到多類分類問題，提出兩種決策樹結構的PPSVM算法，分別為多對多PPSVM決策樹和一對多PPSVM決策樹。性能分析表明，無論是多對多方法還是一對多方法，兩種樹都包含n－1個PPSVM分類器。兩種算法的平均收斂率分別為O(log2n)和O（（n?。?）/n）。實驗表明，所提出的算法在提高分類精度的同時，減少了所需

4、的支持向量數目和二類分類器個數，提高了分類效率。
　　 (3)針對點對點傳感器網絡，基于平均一致性算法，提出了一種完全分布式的可擴展支持向量機分類算法(DS2VM)。該算法的主要優(yōu)勢是其訓練過程僅需要局部智能體自身的樣本，然后只與其相鄰節(jié)點進行通信就能對全局分類器達到網絡范圍的一致性。由于所提出的算法僅需相鄰節(jié)點之間的信息交換，因此是規(guī)?？蓴U展的。另外，提出了一種新的平均一致性，并對其收斂性和穩(wěn)定性進行分析。通過對UCI機器學習

5、數據庫的實驗分析，證明了所提出的DS2VM分類算法非常接近集中式最優(yōu)分類精度，且通信代價較傳統分布式SVM算法大大減小。
　　 (4)改進算法在信用評級系統中的應用。巴塞爾新資本協議希望并鼓勵各銀行發(fā)展內部信用評級系統，而信用評級本質上是一個非線性、小樣本問題，樣本往往是含噪聲或者孤立點的，并且已有樣本不可避免存在模糊或錯誤類標。因此，將以上改進的SVM分類方法應用在信用評級系統中，就是十分自然的想法了。本文建立了基于改進SVM