仿真數(shù)據(jù)并行分布式挖掘算法研究.pdf

1、仿真實驗產(chǎn)生了大規(guī)模的仿真數(shù)據(jù)，為了從中提取有用的信息和知識，更好地認識和改進系統(tǒng)，幫助決策人員分析決策，可以用數(shù)據(jù)挖掘方法來進行仿真數(shù)據(jù)分析。由于仿真數(shù)據(jù)具有維度高、規(guī)模大的特點，需要采用并行挖掘算法來提高效率。又根據(jù)仿真數(shù)據(jù)分布式存儲的特點，避免大規(guī)模數(shù)據(jù)集中所帶來的開銷以及安全性，需要研究分布式挖掘算法。本文主要的研究工作包括以下內(nèi)容：
　　根據(jù)仿真數(shù)據(jù)固有特點和分布式存儲特點，提出了并行分布式挖掘的需求。根據(jù)數(shù)據(jù)挖掘的基本

2、流程，總結(jié)了仿真數(shù)據(jù)挖掘的一般流程。尋規(guī)律和尋優(yōu)是仿真中的兩種重要需求，相應地研究了兩種常用的挖掘方法：關(guān)聯(lián)規(guī)則和決策樹，來挖掘系統(tǒng)中的一些關(guān)聯(lián)規(guī)律，以及對仿真系統(tǒng)的優(yōu)化。
　　對于仿真實驗尋規(guī)律的需求，將關(guān)聯(lián)規(guī)則挖掘方法應用其中。對基本的Apriori算法進行研究改進，采用了向量化的數(shù)據(jù)結(jié)構(gòu)，減少了輸入數(shù)據(jù)集的存儲空間，可以將數(shù)據(jù)集放入內(nèi)存，避免對數(shù)據(jù)庫多次掃描帶來的I/O開銷，提高了算法的效率。用vector容器替代哈希樹存儲

3、候選項集，減少了算法的空間復雜度。同時為了適應仿真數(shù)據(jù)大規(guī)模的特點，根據(jù)CD(Count Distribute)算法的思想對算法進行并行化，并且對算法的拓展性進行了實驗設(shè)計分析。
　　針對解決仿真實驗尋優(yōu)的需求，采用了決策樹挖掘方法。由于仿真數(shù)據(jù)分布式存儲的特點，研究了基于元學習的分布式分類器，以及決策樹的兩種并行化方法，同步樹構(gòu)建方法和分割樹構(gòu)建方法，實現(xiàn)基于ID3算法的同步樹決策樹挖掘算法，最后通過仿真測試驗證了算法的有效性。