深度學習發(fā)展現(xiàn)狀

1、深度學習發(fā)展現(xiàn)狀深度學習發(fā)展現(xiàn)狀1深度學習發(fā)展現(xiàn)狀深度學習發(fā)展現(xiàn)狀王宇航(北京交通大學計算機與信息技術學院，北京，100044)摘要摘要：深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)。近年來，隨著深度學習逐漸收到各界的廣泛關注，其在各個尖端領域的作用也越來越大，深度學習已經(jīng)在諸多領域取得客觀的成就。本文簡要介紹深度學習的基本理論及思想，著重介紹了近年來深度學習在各個領

2、域的應用及其發(fā)展關鍵字關鍵字：深度學習；機器學習；人工智能；無監(jiān)督學習1引言引言2011年，斯坦福人工智能實驗室主任吳恩達領導Google的科學家們，用16000臺電腦模擬了一個模擬人腦神經(jīng)網(wǎng)絡出來，并向這個網(wǎng)絡展示了1000萬段隨機從YouTube上選取的視頻，看看它能學會什么結果在完全沒有外界干涉的條件下，它自己識別出了貓臉我們要注意的是，這種機器學習與我們通常意義上說的“機器識別”有所不同現(xiàn)有的很多此類識別，需要人工輸入一些用于對

3、比的數(shù)據(jù)，或者一些已經(jīng)進行初步分類、打好標簽的數(shù)據(jù)，機器通過學習這些數(shù)據(jù)的共同點，得出規(guī)律，然后再去將規(guī)律應用于更大規(guī)模的數(shù)據(jù)中粗略地說，這是一種“有監(jiān)督的學習”，需要人工輸入初始數(shù)據(jù)，有時候還要對識別結果進行判斷，由此促進機器的學習速度而深度學習是一種“無監(jiān)督的學習”它基于一種學術假設：即人類對外界環(huán)境的了解過程最終可以歸結為一種單一算法，而人腦的神經(jīng)元可以通過這種算法，分化出識別不同物體的能力這個識別過程甚至完全不需要外界干預還是以

4、識別貓臉為例：吳恩達給神經(jīng)網(wǎng)絡輸入了一個單詞“cat”，這個神經(jīng)網(wǎng)絡中并沒有辭典，不了解這個單詞的含義但在觀看了一千萬段視頻，它最終確定，cat就是那種毛茸茸的小動物這個學習過程，與一個不懂英語的人，在沒任何人教他的時候，通過獨立觀察學會“cat”的過程幾乎一致上述事例是深度學習發(fā)展中具有里程碑性質(zhì)的事件，通過以上事件意在形象的向讀者說明深度學習的基本思想本文意在向讀者介紹近年來深度學習在各個領域的應用及其發(fā)展深度學習發(fā)展現(xiàn)狀深度學習發(fā)

5、展現(xiàn)狀3學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于：1）強調(diào)了模型結構的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；2）明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。從2006年

6、以來，大量的關于深度學習的論文被發(fā)表。3深度學習的應用現(xiàn)狀及發(fā)展深度學習的應用現(xiàn)狀及發(fā)展3.1深度學習在各個領域的應用概述深度學習在各個領域的應用概述自2006年以來，深度學習在學術界持續(xù)升溫，美國，加拿大，歐洲相繼成為此領域的科研重鎮(zhèn)。2010年美國國防部先進研究項目局首次資助深度學習，參與方包括斯坦福大學、紐約大學和NEC美國研究院等機構。2011年，微軟語音識別采用深度學習技術降低語音識別錯誤率2030%，是該領域十多年來最大的突

7、破性進展。2012是深度學習研究和應用爆發(fā)的一年，深度學習被應用于著名生物制藥公司黙克的分子藥性預測問題，從各類分子中學習發(fā)現(xiàn)那些可能成為藥物的分子獲得世界最好效果；谷歌的GoogleBrain項目用16000個處理器的服務器集群構建了一套超過10億個節(jié)點的具備自主學習能力的神經(jīng)網(wǎng)絡，能自動從輸入的大量數(shù)據(jù)中歸納出概念體系，圖片搜索、無人駕駛汽車和GoogleGlass都將會從中受益。6月，Google公司的深度學習系統(tǒng)在識別物體的精確

8、度上比上一代系統(tǒng)提高了一倍，并且大幅度削減了roid系統(tǒng)語音識別系統(tǒng)的錯誤率。百度引入深度學習以后，語音識別效果的提升超過了以往業(yè)界在過去15年里所取得的成績。12月，微軟亞洲研究院展示了中英即時口譯系統(tǒng)，錯誤率僅為7%，而且發(fā)音十分順暢。2013年，歐洲委員會發(fā)起模仿人腦的超級計算機項目，計劃歷時10年投入16億美元，由全球80個機構的超過200名研究人員共同參與，希望在理解人類大腦工作方式上取得重大進展，并推動更多能力強大的新型計算