面向格結構的機器學習.pdf

1、經(jīng)典的機器學習算法大都是針對特定數(shù)據(jù)類型設計的,例如,ID3算法適用于離散型數(shù)據(jù)、BP算法適用于連續(xù)型數(shù)據(jù)。而在實際的學習問題中,學習數(shù)據(jù)與學習算法不匹配的情形不可避免地經(jīng)常出現(xiàn)。通常的解決方案是通過屬性轉(zhuǎn)換使數(shù)據(jù)與算法的類型一致,這一模式被稱為“面向算法的學習”(Algorithm Oriented Learning,AOL)。然而,實驗表明AOL并不是一種有效的學習模式,一些重要的數(shù)據(jù)信息可能會在屬性轉(zhuǎn)換中被破壞,進而影響學習的效果

2、。
　　 本文以基于結構的屬性分類和算法分類觀點,深入分析了信息在屬性轉(zhuǎn)換中損失的本質(zhì),并在此基礎上提出了“面向結構的學習”(Structure Oriented Learning,SOL),該模式引入了具有一定結構復雜性的中間結構,并以此作為聯(lián)系數(shù)據(jù)與算法的紐帶--SOL要求數(shù)據(jù)和算法都轉(zhuǎn)換成與中間結構一致的類型。
　　 中間結構的選擇在SOL模式中是非常重要的。中間結構必須有一定的普遍性,使其能定義在大多數(shù)的屬性集合

3、上；又必須有一定的描述力,使其能對其他結構進行合理的解釋?！案瘛闭沁@樣一個合適的、具有一定結構復雜度的、既簡單又復雜的結構。
　　 本文主題就是以“格”為中間結構的機器學習。
　　 在討論具體的“面向格的機器學習”實例之前,本文梳理了“學習”的一般過程,提出了“機器學習機”的六元組表示,并在此基礎上給出了“學習”相關概念的形式化定義。
　　 至此,本文的前半部分回答了以下三個問題,“什么是學習?”,“什么是面向

4、結構的學習?”,“什么是面向格的學習?”。
　　 而本文的后半部分則回答了“怎樣進行面向格的學習?”,這里討論了兩個“面向格的機器學習”的實例。
　　 本文討論的第一個實例是基于格的規(guī)則歸納。本文首先提出了基于認知的帶例外規(guī)則(rule with exception,RE)學習框架--CBREL,以及該框架下的CBREL-CBL算法和CBREL-ID3算法；接著,通過兩種不同的方法分別將兩個算法轉(zhuǎn)換為SOL模式下“格”類

5、算法,最后,本文通過大量實驗比較了AOL模式與SOL模式運用于混合類型數(shù)據(jù)分類問題的學習效果。實驗結果表明,“格嵌入+格算法”的分類結果明顯好于“離散化+離散型算法”的分類結果,而沒有表現(xiàn)出對“連續(xù)化+連續(xù)型算法”的優(yōu)勢。分析認為離散化是復雜結構向簡單結構的轉(zhuǎn)換,這一過程存在信息損失；連續(xù)化是簡單結構向復雜結構的轉(zhuǎn)換,這一過程沒有信息損失。以上結論也驗證了本文提出的關于信息損失因為的觀點。
　　 本文討論的第二個實例是基于半格的

6、LDA類模型學習。LDA是應用于語料的主題模型,它將主題表示為詞上的一種分布,而文檔則是各種主題的隨機混合。LDA類模型是LDA模型及其變形的統(tǒng)稱。LDA類模型一般適用于未標注的語料(unannotated corpus),此時,模型的訓練過程可以被看作是離散型數(shù)據(jù)上的聚類過程。本文討論了如何在面向半格的學習模式下,將LDA類模型運用于由分析樹屬性(parser tree attribute)構成的標注語料(annotated corp