大型數(shù)據(jù)表語(yǔ)義壓縮方法研究.pdf

1、隨著信息時(shí)代的到來(lái)，人們面對(duì)著與日俱增的龐大信息，對(duì)其存儲(chǔ)和處理均有一定的困難。故對(duì)數(shù)據(jù)采用壓縮技術(shù)，實(shí)現(xiàn)數(shù)據(jù)約簡(jiǎn)，具有重大的研究?jī)r(jià)值和實(shí)踐意義。 從信息冗余類型角度考慮，數(shù)據(jù)壓縮技術(shù)分為語(yǔ)法壓縮和語(yǔ)義壓縮。語(yǔ)法壓縮基于數(shù)據(jù)統(tǒng)計(jì)，減少數(shù)據(jù)冗余；語(yǔ)義壓縮基于語(yǔ)義，減少內(nèi)容冗余。 從壓縮的角度考慮，數(shù)據(jù)分為數(shù)值型數(shù)據(jù)與非數(shù)值型數(shù)據(jù)。在很多實(shí)際應(yīng)用場(chǎng)合，都會(huì)產(chǎn)生大型數(shù)據(jù)表，可用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)的數(shù)據(jù)，也稱結(jié)構(gòu)化的數(shù)值性數(shù)據(jù)

2、。 語(yǔ)法壓縮被建議用于處理非數(shù)值型數(shù)據(jù)，如文字，圖像，音視頻等，而如果用于處理大型數(shù)據(jù)表，不能提供較理想的解決方案?，F(xiàn)在人們研究如何將語(yǔ)義壓縮用于大型數(shù)據(jù)表。語(yǔ)義壓縮是指發(fā)掘數(shù)據(jù)中語(yǔ)義模型，揭示數(shù)據(jù)中蘊(yùn)含的含義，潛在的關(guān)聯(lián)，并運(yùn)用到數(shù)據(jù)壓縮過(guò)程中。語(yǔ)義壓縮一般屬于有損壓縮，即允許一定的誤差存在。 在關(guān)于大型數(shù)據(jù)表的語(yǔ)義壓縮方法的研究中，現(xiàn)有的一些語(yǔ)義壓縮方法，如Fascicles、ItCompress、SPARTAN等，

3、在靈活性和壓縮性能方面存在一定的缺陷性。本文根據(jù)實(shí)際數(shù)據(jù)特性，提出一種雙向語(yǔ)義壓縮框架(Bidirectional Semantic Compression，BSC)，以及由此衍生的三種壓縮算法，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。 BSC結(jié)合了列方式壓縮和行方式壓縮，綜合分析了各種數(shù)據(jù)特性，如相關(guān)關(guān)系、時(shí)序性等，采用不同的壓縮策略。如數(shù)據(jù)屬性線性相關(guān)關(guān)系明顯，選用主成分分析-聚類分析壓縮算法；如線性相關(guān)關(guān)系不明顯，而數(shù)據(jù)又不存在時(shí)序性，選用預(yù)