實(shí)時(shí)數(shù)據(jù)流相似性查詢算法的研究.pdf

1、隨著數(shù)據(jù)處理領(lǐng)域研究的不斷深入和研究?jī)?nèi)容的不斷發(fā)展，研究者們逐步發(fā)現(xiàn)數(shù)據(jù)需要以流的形式處理。這些數(shù)據(jù)傳輸速度快、規(guī)模大、傳輸持續(xù)時(shí)間長(zhǎng)，并且只能被有限的讀取幾次。對(duì)于無限的數(shù)據(jù)流而言，系統(tǒng)的有限內(nèi)存只能得到一定精度的相似解。傳統(tǒng)的數(shù)據(jù)查詢算法利用關(guān)系模型，將數(shù)據(jù)在數(shù)據(jù)庫(kù)中存儲(chǔ)后再進(jìn)行相關(guān)處理，不再適合用于不是永久關(guān)系形式的數(shù)據(jù)流。因此，如何實(shí)現(xiàn)對(duì)數(shù)據(jù)流的高實(shí)時(shí)性、高相似性的快速查詢變得越來越重要。
　　本文主要基于Haar小波分析

2、方法預(yù)處理數(shù)據(jù)，結(jié)合滑動(dòng)窗口算法和貪心算法的優(yōu)點(diǎn)，綜合實(shí)現(xiàn)數(shù)據(jù)流相似性查詢。首先，本文介紹分析了Haar的相關(guān)理論，在數(shù)據(jù)總體誤差可接受的約束前提下，利用抽樣將數(shù)據(jù)流的數(shù)據(jù)總量降低，完成數(shù)據(jù)的預(yù)處理，仿真實(shí)驗(yàn)表明總體誤差可以穩(wěn)定在98％左右時(shí)，利用本文數(shù)據(jù)預(yù)處理算法可以將數(shù)據(jù)總量壓縮7~11倍，驗(yàn)證了此種數(shù)據(jù)預(yù)處理的有效性。其次，為了解決數(shù)據(jù)滑動(dòng)窗口過長(zhǎng)造成數(shù)據(jù)等待時(shí)間過長(zhǎng)和滑動(dòng)窗口過短造成整體處理時(shí)間過長(zhǎng)的之間的矛盾，本文對(duì)基本滑動(dòng)窗