深度神經(jīng)網(wǎng)絡(luò)壓縮與優(yōu)化研究.pdf

1、深度學(xué)習(xí)是近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域最有影響力的研究方向，在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理的許多問(wèn)題上都取得了突出的效果。深度學(xué)習(xí)的本質(zhì)是大數(shù)據(jù)支撐下，由多層人工神經(jīng)網(wǎng)絡(luò)堆疊形成的信號(hào)處理系統(tǒng)，具有參數(shù)數(shù)目多，計(jì)算復(fù)雜度高等特點(diǎn)。深度學(xué)習(xí)的訓(xùn)練和運(yùn)行都需要大量的運(yùn)行空間與并行計(jì)算設(shè)備，這些需求阻礙了深度學(xué)習(xí)在資源有限的設(shè)備，如手機(jī)、平板電腦和嵌入式設(shè)備上的應(yīng)用。另一方面，神經(jīng)網(wǎng)絡(luò)中普遍存在過(guò)參數(shù)化的問(wèn)題，對(duì)于一個(gè)具體任務(wù)而言，網(wǎng)絡(luò)的參數(shù)存在著極大的冗

2、余。深度網(wǎng)絡(luò)壓縮是解決此類問(wèn)題的關(guān)鍵技術(shù)。本文屬于深度網(wǎng)絡(luò)壓縮的研究方向，其主要工作有：
　　1.神經(jīng)網(wǎng)絡(luò)壓縮方法歸納總結(jié)
　　在對(duì)深度學(xué)習(xí)的發(fā)展現(xiàn)狀和主要方法、模型、技巧做了介紹后，我們廣泛研究了當(dāng)前的神經(jīng)網(wǎng)絡(luò)壓縮的方法，并將當(dāng)前的網(wǎng)絡(luò)壓縮方法歸納為“近似”、“量化”與“裁剪”三種類型。近似類算法依靠張量分解為網(wǎng)絡(luò)參數(shù)尋找開(kāi)銷更小的表示方法，量化類方法將網(wǎng)絡(luò)參數(shù)從實(shí)數(shù)域映射到有限集合，實(shí)現(xiàn)參數(shù)共享，裁剪類方法檢測(cè)和刪除網(wǎng)絡(luò)

3、中的冗余層、冗余神經(jīng)元或冗余神經(jīng)連接，將直接改變網(wǎng)絡(luò)的結(jié)構(gòu)。
　　2.神經(jīng)元貢獻(xiàn)評(píng)價(jià)與消偏
　　我們針對(duì)神經(jīng)元級(jí)的裁剪進(jìn)行研究，首先我們通過(guò)特征圖可視化的方法展示了網(wǎng)絡(luò)中存在的冗余現(xiàn)象。隨后，我們從前人工作中推廣出三種用于評(píng)價(jià)神經(jīng)元貢獻(xiàn)度的方法。這些方法能夠在逐層的網(wǎng)絡(luò)裁剪中使用，但在全局裁剪中，當(dāng)把不同層的神經(jīng)元評(píng)分統(tǒng)一考慮時(shí)，存在顯著的系統(tǒng)性偏差。我們提出了一種簡(jiǎn)單的消偏方法，使得全局神經(jīng)網(wǎng)絡(luò)裁剪成為可能。
　　3