大數(shù)據(jù)并發(fā)實(shí)時(shí)查詢建模.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)結(jié)構(gòu)類型多樣化難處理，海量數(shù)據(jù)查詢低效率、滯后性問(wèn)題日益突出。高維空間索引是解決動(dòng)態(tài)數(shù)據(jù)更新索引的關(guān)鍵技術(shù)，大數(shù)據(jù)實(shí)時(shí)查詢的核心問(wèn)題是數(shù)據(jù)管理以及其組織結(jié)構(gòu)問(wèn)題。
　　本文提出了一種基于改進(jìn)型DC-Tree的海量數(shù)據(jù)環(huán)境下的實(shí)時(shí)查詢系統(tǒng)，該系統(tǒng)不僅能夠在大數(shù)據(jù)環(huán)境下提供并發(fā)式實(shí)時(shí)查詢和動(dòng)態(tài)插入更新策略，并且具有對(duì)大規(guī)模數(shù)據(jù)流動(dòng)態(tài)智能分類的特點(diǎn)。本文重點(diǎn)研究了增量式貝葉斯網(wǎng)絡(luò)學(xué)習(xí)模型以及動(dòng)態(tài)高維索引結(jié)構(gòu)，特

2、別在增量式學(xué)習(xí)方式上和動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu)上進(jìn)行改進(jìn)，從性能和實(shí)時(shí)性等多個(gè)角度設(shè)計(jì)出了一種適合大數(shù)據(jù)環(huán)境下的并發(fā)實(shí)時(shí)查詢和動(dòng)態(tài)插入更新算法，主要工作如下：
　?。?）設(shè)計(jì)了一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)流實(shí)時(shí)分類方案，運(yùn)用增量式的學(xué)習(xí)方式改進(jìn)貝葉斯網(wǎng)絡(luò)模型的構(gòu)建，大大增加查詢分類的效率和數(shù)據(jù)的有效性，支持網(wǎng)絡(luò)結(jié)構(gòu)的動(dòng)態(tài)更新，支持靈活的數(shù)據(jù)流分類，適用于不同數(shù)據(jù)需求環(huán)境的查詢分析。
　　（2）基于DC-Tree設(shè)計(jì)了支持海量數(shù)據(jù)動(dòng)態(tài)更新改進(jìn)結(jié)

3、構(gòu)，支持多維概念層次模型，并支持并發(fā)動(dòng)態(tài)插入更新以及實(shí)時(shí)查詢沖突修正，提高了海量數(shù)據(jù)環(huán)境下查詢更新的精確度，提升了數(shù)據(jù)實(shí)時(shí)性效果。
　?。?）基于改進(jìn)型DC-Tree方案，建立了一個(gè)適用于大數(shù)據(jù)環(huán)境下的并發(fā)實(shí)時(shí)查詢更新系統(tǒng)，通過(guò)Z curve實(shí)現(xiàn)多維數(shù)據(jù)降維，Bloom Filter實(shí)現(xiàn)海量數(shù)據(jù)高效離散存儲(chǔ)及并行化計(jì)算，以及改進(jìn)型動(dòng)態(tài)索引結(jié)構(gòu)DC-Tree提高數(shù)據(jù)實(shí)時(shí)性，解決海量數(shù)據(jù)查詢效率低、實(shí)時(shí)性差的實(shí)際問(wèn)題。
　?。?