數(shù)據(jù)分類算法性能的大規(guī)模實(shí)驗(yàn)對(duì)比分析.pdf

1、隨著數(shù)據(jù)分類技術(shù)的不斷發(fā)展，科研人員提出了越來(lái)越多的分類算法，但是這些算法各具特點(diǎn)，在理論層面各有優(yōu)勢(shì)及不足，因此，選擇哪一種或哪幾種分類算法去解決分類問(wèn)題的過(guò)程往往需要花費(fèi)大量的時(shí)間。實(shí)際應(yīng)用中，為了節(jié)約選擇分類算法的時(shí)間成本，人們往往會(huì)選擇經(jīng)典的、影響力大的，但卻未必是最適合他們的數(shù)據(jù)的分類算法來(lái)解決問(wèn)題，這會(huì)導(dǎo)致一些較新的、性能較好的分類算法得不到人們的重視。目前為止，對(duì)于分類問(wèn)題并沒有一個(gè)通用的、在任何數(shù)據(jù)上都能取得最佳分類正確

2、率的算法。因此，研究如何高效的選擇最佳的分類方法已經(jīng)成為研究人員、特別是領(lǐng)域?qū)＜议L(zhǎng)期以來(lái)追求的目標(biāo)。本文對(duì)數(shù)據(jù)分類算法性能進(jìn)行大規(guī)模實(shí)驗(yàn)對(duì)比分析，旨在為研究人員和實(shí)際開發(fā)者在分類算法的選擇問(wèn)題上提供一定的實(shí)踐指導(dǎo)。
　　本文對(duì)數(shù)據(jù)分類算法性能的大規(guī)模實(shí)驗(yàn)對(duì)比分析分為兩個(gè)部分，分別是多類分類算法性能的大規(guī)模實(shí)驗(yàn)對(duì)比分析，和對(duì)多元分類問(wèn)題中的二元分類器組合的研究。在多類分類算法性能的大規(guī)模實(shí)驗(yàn)中，通過(guò)對(duì)3個(gè)較新的和8個(gè)數(shù)據(jù)挖掘領(lǐng)域最具

3、影響力的分類算法在81個(gè)公開數(shù)據(jù)集上的分類性能進(jìn)行對(duì)比分析，得出了一些具有參考價(jià)值的結(jié)論。這些結(jié)論包括，分類正確率最好的5個(gè)算法分別是GBDT（Gradient Boosting Decision Tree）、Random Forests、ELM（Extreme Learning Machine）、LibSVM和C4.5算法，其中，除了C4.5算法是最早的分類算法之一，前3個(gè)分類算法均是近些年被提出的。另外，SRC（Sparse Rep

4、resentation Classification）算法的分類正確率表現(xiàn)稍遜色于C4.5算法，但算法效率偏低是 SRC的一個(gè)明顯的劣勢(shì)。本文通過(guò)結(jié)合數(shù)據(jù)集類數(shù)和屬性個(gè)數(shù)的分布情況，進(jìn)一步詳細(xì)對(duì)比分析了分類正確率最好的5個(gè)算法，為人們快速地選擇出最適合他們的數(shù)據(jù)的分類算法提供了一定的參考。
　　在多元分類問(wèn)題中的二元分類器組合方法的研究中，本文對(duì)3類二元分類器組合方式（多元分類問(wèn)題分解策略）在31個(gè)公開數(shù)據(jù)集上進(jìn)行了大規(guī)模實(shí)驗(yàn)對(duì)比

5、分析。其中，對(duì)于OVA（One-vs-All）分解策略和OVO（One-vs-One）分解策略，使用了9個(gè)不同的基分類器（Base Classifier），分別測(cè)試了3種OVA聚合規(guī)則（Aggregation Rule）和8種OVO聚合規(guī)則。通過(guò)對(duì)OVA和OVO分解策略的實(shí)驗(yàn)對(duì)比分析，發(fā)現(xiàn)在任意的基分類器下，使用OVA策略下取得的最佳正確率的數(shù)據(jù)集的比例要多于使用OVO策略；對(duì)于不同的OVA聚合規(guī)則和OVO聚合規(guī)則而言，使用不同的基分類

6、器會(huì)對(duì)不同的OVA和OVO聚合規(guī)則的性能產(chǎn)生一定的影響，并不是在所有的基分類器上使用OVA和OVO分解策略都能提高數(shù)據(jù)的分類正確率。通過(guò)在10個(gè)不同的基分類器下，對(duì) ECOC（Error-Correcting Output Codes）中的3種編碼方法和6種解碼方法性能的大規(guī)模實(shí)驗(yàn)對(duì)比分析，發(fā)現(xiàn)當(dāng)基分類器不同時(shí)，編碼方法和解碼方式的不同組合的分類正確率表現(xiàn)也不盡相同，在編碼和解碼方法選擇恰當(dāng)?shù)那闆r下，使用ECOC框架可以有效地提高數(shù)據(jù)的