基于卷積神經(jīng)網(wǎng)絡的雙目立體匹配VLSI架構設計.pdf

1、立體視覺利用攝像機在場景中獲得的二維圖像來重建景物的三維信息，廣泛應用于無人機導航、自動駕駛、3D場景重建等領域。其中雙目立體視覺模擬人類雙眼處理場景的方式，利用雙目攝像機機從兩個不同的角度獲取同一景物在不同視角下的圖像，基于三角測量和視差原理，獲取物體的三維幾何信息。本文選擇雙目視覺系統(tǒng)中關鍵的立體匹配問題展開研究。設計了一種基于卷積神經(jīng)網(wǎng)絡的雙目立體匹配算法的VLSI架構，并在FPGA上完成了驗證。主要貢獻如下:
　　(1)設

2、計基于卷積神經(jīng)網(wǎng)絡的雙目立體匹配VLSI架構。整個架構包含多卷積層的卷積神經(jīng)網(wǎng)絡、5條路徑半全局代價聚合、視差計算、視差優(yōu)化等模塊。根據(jù)各個模塊的算法復雜度，一共采用了2個時鐘頻率?？鞎r鐘域用于處理算法復雜度較高的卷積神經(jīng)網(wǎng)絡，計算初始匹配代價;慢時鐘域用于處理立體匹配算法中復雜度較低的后3個步驟。利用分時復用以及跨時鐘域等策略，有效的降低了系統(tǒng)的硬件資源消耗。
　　(2)針對包含多卷積層的專用型卷積神經(jīng)網(wǎng)絡，設計了一種所有層并行

3、，中間數(shù)據(jù)即出即用，低片上緩存、高吞吐率的流水線型VLSI架構。本文對Eyeriss通用型單層卷積層VLSI架構設計思想進行擴展，實現(xiàn)了一個與專用型卷積神經(jīng)網(wǎng)絡VLSI架構具備相近硬件資源的通用型VLSI架構。在相同的工作頻率下，擴展后的通用型單層卷積層VLSI架構的吞吐率是專用型卷積神經(jīng)網(wǎng)絡架構的1.58倍，所需的片上緩存大小和數(shù)據(jù)總線帶寬分別為專用型VLSI架構的6.5倍和6.3倍。
　　(3)設計了斑點濾波、中值濾波、孔洞填

4、充等3個模塊用于視差優(yōu)化階段。相比于傳統(tǒng)的固定窗口的斑點濾波方法，本文采用自適應斑點濾波窗口，根據(jù)中心像素點的視差值和所在位置決定濾波窗口的尺寸，進一步提高了匹配精度。7×7中值濾波器采用位級比較法，49個數(shù)同時從最高位逐位比較至最低位，選出濾波窗口內的中值。通過比較可發(fā)現(xiàn)，中值濾波窗口越大，位級比較法較普通的快速求中值方法能節(jié)省更多的邏輯資源。
　　基于CNN的雙目立體匹配VLSI架構在kitti測試平臺的平均錯誤率為7.74％