基于多粒度多層次滑動(dòng)窗口模型的數(shù)據(jù)流聚集查詢技術(shù)研究.pdf

1、隨著信息采集手段的快速發(fā)展，很多應(yīng)用領(lǐng)域的數(shù)據(jù)呈現(xiàn)出“連續(xù)數(shù)據(jù)流”的形式而不是傳統(tǒng)的靜態(tài)存儲(chǔ)結(jié)構(gòu)形式。這些應(yīng)用領(lǐng)域包括交通監(jiān)控系統(tǒng)、傳感器網(wǎng)絡(luò)數(shù)據(jù)管理、金融證券信息分析等等。數(shù)據(jù)流具有大容量、不可預(yù)測(cè)和突發(fā)性到達(dá)等特點(diǎn)，給傳統(tǒng)的數(shù)據(jù)管理手段提出了挑戰(zhàn)性的問(wèn)題。數(shù)據(jù)流處理固有的兩個(gè)基本特點(diǎn)是近似性和適應(yīng)性，在很多實(shí)際應(yīng)用中，用戶并不需要得到完全精確的結(jié)果，而僅需要一個(gè)近似值，因此，實(shí)時(shí)給出近似查詢結(jié)果是數(shù)據(jù)流處理的主要目標(biāo)，而數(shù)據(jù)流處理的

2、適應(yīng)性是影響近似性的關(guān)鍵因素。 本文在詳細(xì)總結(jié)數(shù)據(jù)流管理體系中的一系列問(wèn)題的基礎(chǔ)之上，對(duì)其中的部分關(guān)鍵技術(shù)進(jìn)行了研究和探討，其中包括滑動(dòng)窗口處理模型、數(shù)據(jù)流概要方法以及數(shù)據(jù)流聚集計(jì)算的數(shù)據(jù)結(jié)構(gòu)等。論文的主要工作和創(chuàng)新體現(xiàn)在以下三點(diǎn)： (1)深入研究了滑動(dòng)窗口模型在數(shù)據(jù)流處理中的作用和特點(diǎn)，并根據(jù)數(shù)據(jù)流應(yīng)用中的特征，將多層次劃分思想和多粒度描述引入到滑動(dòng)窗口模型中來(lái)，提出了一種多層次窗口模型的建模方法，并對(duì)其展開(kāi)了探討。

3、 (2)在多層次滑動(dòng)窗口模型的基礎(chǔ)上，設(shè)計(jì)了aMG-Tree(Multi-Granularity andmulti-level aggregate Tree，多粒度多層次聚集樹(shù))結(jié)構(gòu)和適合aMG-Tree的不同層次窗口過(guò)期數(shù)據(jù)的幾何快照存儲(chǔ)結(jié)構(gòu)，使得不僅能支持?jǐn)?shù)據(jù)流的簡(jiǎn)單聚集查詢，而且還能支持涉及過(guò)期數(shù)據(jù)的數(shù)據(jù)流分組聚集和基于條件的復(fù)雜聚集查詢。 (3)給出了上述兩種結(jié)構(gòu)的數(shù)據(jù)流在線聚集與近似查詢算法，能有效地解決有限時(shí)空