深度卷積神經(jīng)網(wǎng)絡中反饋機制的計算建模及應用研究.pdf

1、當前,隨著人工智能技術的不斷發(fā)展,深度人工神經(jīng)網(wǎng)絡被廣泛應用于人類社會的各個領域。特別地,前饋型深度卷積神經(jīng)網(wǎng)絡(CNNs)在各種計算機視覺任務上已經(jīng)取得了巨大成功。然而,隨著應用需求的不斷增加,視覺處理任務復雜度不斷提高,依靠簡單前饋方式工作的卷積神經(jīng)網(wǎng)絡開始滿足不了人們的需求,探索更加類似人類視覺系統(tǒng)的新一代視覺信息處理神經(jīng)網(wǎng)絡顯得迫在眉睫。來自認知神經(jīng)科學的研究表明,人類的視覺系統(tǒng)由大量的前饋連接、反饋連接和側向連接構成,而反饋連

2、接和側向連接的數(shù)量遠遠大于前饋連接。因此,基于前饋網(wǎng)絡構建有效的反饋機制具有重要的研究價值。本文受人類視皮質層反饋機制的啟發(fā),對深度卷積神經(jīng)網(wǎng)絡中如何構建反饋機制進行了深入的研究,提出了有效的反饋機制計算模型和運行框架,充分擴展了深度卷積神經(jīng)網(wǎng)絡的功能,并成功運用于多項計算視覺任務中。本文的主要研究工作和貢獻歸納如下:
　　1.在深度卷積神經(jīng)網(wǎng)絡中,針對反饋機制的構建問題,本文在理論上提出了有效的反饋機制計算模型。在面向目標識別的

3、深度卷積神經(jīng)網(wǎng)絡中,本文給出了反饋機制的具體數(shù)學定義,并將反饋機制建模成一個優(yōu)化問題,確定了反饋機制工作運行的基本框架。
　　2.針對提出的反饋優(yōu)化問題,本文提出了基于梯度下降法的求解算法,在卷積神經(jīng)網(wǎng)絡中成功構建了一種有效的反饋機制,實現(xiàn)了對人類視覺系統(tǒng)中選擇性注意機制的建模。在大規(guī)模數(shù)據(jù)集上的實驗結果驗證了反饋模型能夠有效定位到感興趣目標并能有效提升模型識別能力。
　　3.針對提出的反饋優(yōu)化問題,本文進一步提出兩種基于貪

4、心策略的求解算法。本文分析了由兩種不同算法導出的反饋機制在功能上的差異,提出一個基于神經(jīng)元篩選和神經(jīng)元視覺信息恢復的反饋卷積神經(jīng)網(wǎng)絡新框架。在多個代表性數(shù)據(jù)集上的實驗結果驗證了反饋機制在弱監(jiān)督目標定位與分割任務上的有效性,同時也為深度卷積神經(jīng)網(wǎng)絡的工作原理提供了可視化的解釋。
　　4.為了探索更加類似人類視覺系統(tǒng)的信息處理機制,本文最后提出了在深度卷積神經(jīng)網(wǎng)絡中構建結合反饋調節(jié)信息的新型側抑制計算模型?；谠撃Ｐ蛯⑷蝿諏虻倪x擇性

5、目標注意和響應導向的顯著性目標檢測統(tǒng)一到了一個分類卷積神經(jīng)網(wǎng)絡模型中,大規(guī)模數(shù)據(jù)集上的實驗結果驗證了所提出模型的有效性。
　　總結起來,本文在深度卷積神經(jīng)網(wǎng)絡中將反饋機制建模成了一個優(yōu)化問題,并提出了三種不同的求解方法。在成功構建反饋連接的基礎上,進一步提出了基于反饋與側抑制機制聯(lián)合建模的視覺注意模型。本文通過大量的實驗詳細分析了帶有反饋機制的卷積神經(jīng)網(wǎng)絡,結果顯示本文所提出反饋機制計算模型極大地增加了深度卷積神經(jīng)網(wǎng)絡的靈活性,充