基于差異性度量的分類器集成優(yōu)化方法研究與應(yīng)用.pdf

1、分類問題，作為人類的基本社會活動，在人們的日常生活和任務(wù)學(xué)習(xí)中，扮演著重要角色。隨著數(shù)據(jù)挖掘和模式識別技術(shù)的快速發(fā)展，利用機器學(xué)習(xí)和模式識別技術(shù)對數(shù)據(jù)進(jìn)行分析處理，尋找數(shù)據(jù)之間內(nèi)在的特殊聯(lián)系，對解決實際應(yīng)用中的分類問題具有重要的指導(dǎo)意義和應(yīng)用價值，由此推動了數(shù)據(jù)分類器技術(shù)的快速發(fā)展。
　　分類器技術(shù)正處于多分類器集成階段，其是由單一分類器時期過渡而來。1997年，國際機器學(xué)習(xí)領(lǐng)域的權(quán)威T.G Dietterich提出了，集成學(xué)習(xí)、

2、符號學(xué)習(xí)、統(tǒng)計學(xué)習(xí)、強化學(xué)習(xí)共同組成了機器學(xué)習(xí)的四大研究方向。其中，集成學(xué)習(xí)被列為四大研究方向之首，并被認(rèn)定為機器學(xué)習(xí)范式的一種新形式。但是時至今日，對于如何訓(xùn)練出精度更高、差異性更大的基分類器，以及如何進(jìn)一步提升集成模型的泛化性能，來實現(xiàn)更有效的集成學(xué)習(xí)，仍是集成學(xué)習(xí)領(lǐng)域關(guān)注卻未解決的問題之一。
　　基于上述背景，本文圍繞基于差異性度量的分類器集成優(yōu)化方法與應(yīng)用開展了相關(guān)研究，主要研究工作和成果包括:
　　(1)提出了一種

3、基于距離熵的分類器差異性度量方法。該方法利用將距離和信息熵進(jìn)行結(jié)合的思想，用基分類器在不同評價指標(biāo)上相對于基準(zhǔn)數(shù)據(jù)的距離熵來測度基分類器之間基于度量指標(biāo)的整體差異性。
　　(2)提出了一種基于旋轉(zhuǎn)森林變換的混合異構(gòu)分類器選擇性集成方法。該方法利用旋轉(zhuǎn)森林技術(shù)模型構(gòu)建基于特征劃分的訓(xùn)練子集并構(gòu)造出多個異構(gòu)分類器，利用距離熵方法進(jìn)行基分類器差異性度量，以基分類器自身分類精度和彼此差異性作為選擇性集成條件，通過計算基分類器分類結(jié)果的置信