基于GPU的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究.pdf

1、近年來(lái)深度神經(jīng)網(wǎng)絡(luò)被成功運(yùn)用在圖像識(shí)別領(lǐng)域，成為一種很具有發(fā)展?jié)摿Φ纳疃葘W(xué)習(xí)模型。然而，由于訓(xùn)練參數(shù)過(guò)多和模型規(guī)模太大，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)間開(kāi)銷龐大，限制了其進(jìn)一步的發(fā)展和研究。針對(duì)GPU計(jì)算并行度高的特性，提出采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，并且在卷積層運(yùn)用基于查表的方法計(jì)算卷積，顯著提高網(wǎng)絡(luò)訓(xùn)練效率，同時(shí)保證了圖像識(shí)別的正確率，具有重要的實(shí)際意義。
　　提高深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練效率的關(guān)鍵在于加速計(jì)算最耗時(shí)的卷積計(jì)算。根據(jù)CUDA編程

2、特性，對(duì)卷積層的計(jì)算進(jìn)行改進(jìn)，以提高整個(gè)網(wǎng)絡(luò)的訓(xùn)練效率。首先，為了減少計(jì)算量和識(shí)別準(zhǔn)確率，選擇參數(shù)較少，提取特征顯著的卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)模型，并且把所有的卷積層設(shè)計(jì)為小卷積核。其次，提出基于查表的卷積計(jì)算方法，避免了通常的矩陣乘法和數(shù)據(jù)依賴，使計(jì)算并行度增大。最后，根據(jù)深度神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)和每層處理方式的特點(diǎn)設(shè)計(jì)了GPU上的內(nèi)存存儲(chǔ)機(jī)制，加快數(shù)據(jù)的讀取速度。
　　在相同配置的測(cè)試平臺(tái)分別針對(duì)MNIST、CIFAR-10和CALTEC