全連接神經(jīng)網(wǎng)絡在FPGA上的實現(xiàn)與優(yōu)化.pdf

1、隨著電子電路領域的飛速發(fā)展，計算機的計算能力得到了大幅提升，深度學習神經(jīng)網(wǎng)絡再次迎來了飛速發(fā)展的浪潮。全連接神經(jīng)網(wǎng)絡能夠處理大規(guī)模的數(shù)據(jù)，提取全部的數(shù)據(jù)特征，實現(xiàn)大規(guī)模數(shù)據(jù)的分類，因此，仍在圖像領域有重要應用。全連接神經(jīng)網(wǎng)絡的訓練過程計算復雜，計算量大，領域?qū)＜彝褂糜嬎隳芰Τ霰姷腉PU設備進行訓練;而訓練成功的神經(jīng)網(wǎng)絡在處理前向過程時，計算相對簡單，因此往往采用FPGA搭載神經(jīng)網(wǎng)絡的前向推斷過程。雖然FPGA的計算能力難以趕超同時代

2、的GPU加速設備，但其功耗與GPU相比較低，可以計算全連接神經(jīng)網(wǎng)絡的前向過程。本文提出了一套利用OpenCL在FPGA上高效地實現(xiàn)全連接神經(jīng)網(wǎng)絡的方案，并利用商用的全連接神經(jīng)網(wǎng)絡模型，驗證了方案的優(yōu)化效果，為FPGA上利用OpenCL實現(xiàn)神經(jīng)網(wǎng)絡的設計提供了參考。
　　本文的主要工作和研究成果主要包括:
　　1.全連接神經(jīng)網(wǎng)絡算法的實現(xiàn)與優(yōu)化。傳統(tǒng)的FPGA開發(fā)利用較為復雜的硬件描述語言，為FPGA的廣泛應用帶來了挑戰(zhàn)。而O

3、penCL定義了完整的框架，開發(fā)者可以利用OpenCL提供的框架針對FPGA進行編程，縮短了開發(fā)周期。本文首先利用OpenCL，在FPGA上實現(xiàn)了全連接神經(jīng)網(wǎng)絡模型的各計算模塊，并分別針對兩個計算熱點提出了算法實現(xiàn)與優(yōu)化方案:針對全連接層數(shù)據(jù)規(guī)模大、數(shù)據(jù)復用率較低、對帶寬要求高的計算特點，本文利用合并偏移量的方式規(guī)整計算任務、通過分組劃分的方式發(fā)掘并行性、同時利用數(shù)據(jù)復用提升了數(shù)據(jù)使用效率，降低了訪存壓力;針對較為復雜的激活函數(shù)（如Si

4、gmoid函數(shù)），本文分析了泰勒級數(shù)法、查找表法、分段函數(shù)逼近法三種常用的激活函數(shù)實現(xiàn)方式，并衡量了FPGA上適宜的方法;針對激活函數(shù)的特征，設計了差分查找表的方式實現(xiàn)激活函數(shù)，在保證精度的前提下將查找表壓縮，節(jié)約了系統(tǒng)中的存儲空間。
　　2.針對系統(tǒng)特征，提出系統(tǒng)級的優(yōu)化方案。為最大化地利用FPGA系統(tǒng)內(nèi)的各種資源，本文針對算法實現(xiàn)后的基準系統(tǒng)，根據(jù)硬件特征，分析了資源占用情況和流水線、訪存情況，利用數(shù)據(jù)重排、單指令多數(shù)據(jù)、多流