基于注意機制的卷積遞歸神經(jīng)網(wǎng)絡(luò)的動作識別.pdf

1、隨著網(wǎng)絡(luò)的高速發(fā)展，視頻呈現(xiàn)爆炸式的增長，視頻已經(jīng)成為當(dāng)今主流媒體之一。視頻內(nèi)容的理解已經(jīng)成為當(dāng)今計算機視覺領(lǐng)域的研究熱點，同時也是視頻檢索，視頻字幕生成等應(yīng)用的基礎(chǔ)。動作識別是視頻分類的一個重要分支。縱觀整個發(fā)展史，動作識別從傳統(tǒng)的手動提取特征到如今的深度學(xué)習(xí)模型，所用的方法越來越高效，模型越來越自動，所取得的效果越來越顯著。但是無論什么方法，所提出的模型的宗旨都在于能夠在有限的訓(xùn)練集上取得一個好的視頻表示，能夠模式化視頻中的空間靜態(tài)

2、信息跟時間動態(tài)信息。視頻比圖像復(fù)雜，在于它具有時間動態(tài)性。兩個動作有可能局部相似，但是隨著時間的推移，在整個時間節(jié)點上是不相同的，這就要求我們?nèi)ゲ蹲狡渲械牟町愋浴?br>　　本文提出了基于深度神經(jīng)網(wǎng)絡(luò)的動作識別方法。該方法首先使用深度卷積神經(jīng)網(wǎng)絡(luò)對視頻幀進行特征提取，再利用空間轉(zhuǎn)換網(wǎng)絡(luò)對特征進行注意機制處理，最后使用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)建模動作中的時序信息，從而進行動作分類。
　　鑒于人類在識別圖像時會有側(cè)重點，會根據(jù)圖像中的某一些部

3、分來進行識別，所以本文在對動作視頻進行識別的時候加入注意機制。本文采用空間轉(zhuǎn)換網(wǎng)絡(luò)對提取到的特征進行處理，提取空間中有用的特征向量，去除空間中無效的特征，從而降低視頻中噪聲的影響，提高識別準(zhǔn)確率。遞歸神經(jīng)網(wǎng)絡(luò)把特征圖拉成向量，丟失空間信息。特征圖包含空間信息，這種信息能夠被提取用來提高模型的準(zhǔn)確率。本文在原始的長短期記憶網(wǎng)絡(luò)中加入卷積操作來提取這種信息，使其能夠在中間傳播的過程中保持空間性質(zhì)。實驗結(jié)果表明這種方式是十分有效的，能夠極大的