基于FPGA的LZ4無(wú)損壓縮算法優(yōu)化設(shè)計(jì).pdf

1、隨著云計(jì)算和大數(shù)據(jù)產(chǎn)業(yè)的興起，計(jì)算機(jī)系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)和傳輸速率要求越來(lái)越高，現(xiàn)有的無(wú)損壓縮軟件逐漸變得難以滿足實(shí)時(shí)數(shù)據(jù)訪問(wèn)的速率需求。新一代LZ4算法得益于百兆字節(jié)每秒(Million Bits per second，MBps)級(jí)別的壓縮速率，在高速壓縮場(chǎng)合得到廣泛的應(yīng)用。專用硬件壓縮電路能夠充分利用硬件的并發(fā)性和實(shí)時(shí)性，提供較高的壓縮率和壓縮速率性能，并且，壓縮過(guò)程不需要占用中央處理器(Central Processing Unit，C

2、PU)的計(jì)算資源，對(duì)壓縮率和壓縮速率性能之間的折中只取決于電路結(jié)構(gòu)。
　　本文提出了針對(duì)LZ4壓縮率缺陷的優(yōu)化方案。使用現(xiàn)場(chǎng)可編程門(mén)陣列(Field Programmable Gate Array，F(xiàn)PGA)設(shè)計(jì)并實(shí)現(xiàn)了字典緩沖器、并行匹配電路、字符串分割電路、并行編碼器、校驗(yàn)電路和流水線控制器，共同組成LZ4壓縮電路。為了進(jìn)一步優(yōu)化壓縮率，提出了以半靜態(tài)哈夫曼(Huffman)編碼為基礎(chǔ)的二級(jí)壓縮方法，并使用FPGA設(shè)計(jì)了統(tǒng)計(jì)、

3、排序、建樹(shù)、碼長(zhǎng)優(yōu)化、碼表生成以及編碼電路。此外，將LZ4電路和半靜態(tài)Huffman編碼電路進(jìn)行級(jí)聯(lián)，解決了LZ4壓縮電路的壓縮率與兼容性之間的矛盾。
　　本文所述的壓縮電路在Xilinx KC705開(kāi)發(fā)平臺(tái)上進(jìn)行測(cè)試。設(shè)定電路工作頻率125MHz，使用卡爾加里語(yǔ)料庫(kù)（Calgary Corpus）和坎特伯雷語(yǔ)料庫(kù)(Canterbury Corpus)進(jìn)行性能測(cè)試。結(jié)果表明，在兼容模式下，平均壓縮率(52.76％和49.95％)和