大數據環(huán)境下關聯規(guī)則算法的研究.pdf

1、隨著互聯網的高速發(fā)展，數據信息呈現出爆炸性的增長趨勢，很多企業(yè)每天產生的數據量已經達到TB級甚至PB級。面對如此巨大的數據集，數據挖掘的過程會受到算法實現復雜，運行平臺計算能力有限等問題的制約，無法達到預期效果。關聯規(guī)則是數據挖掘技術中的重要分支，具有廣泛的應用領域。Hadoop開源平臺的興起與發(fā)展，為數據挖掘算法提供了新的思路。Hadoop因其良好的容錯性和可擴展性，能夠在一定程度上解決關聯規(guī)則算法運行時的兩個主要瓶頸：計算量大和I/

2、O負擔過重問題。
　　本文重點研究關聯規(guī)則中經典的基于水平數據集的Apriori算法和基于垂直數據集的EClat算法，給出了其基于Hadoop平臺的改進實現。其中針對Apriori算法需要迭代運算，多次掃描數據庫，不適應Hadoop平臺的特點，提出了縮減數據集，確定最高階次Km，基于2-頻繁項集進行剪枝一次生成3-Km項集的優(yōu)化策略。對于Eclat算法，提出兩種Hadoop平臺下并行化算法：D-MREclat算法和A-MREcla

3、t算法。前者通過對垂直數據集進行范圍劃分進行數據分塊，能夠減少后繼計算中“交”運算操作的次數，從而提高算法的運行效率。后者引入Apriori思想，采用基于前綴的搜索空間劃分方法，實現Eclat算法的并行化，這種方法在處理大規(guī)模數據集時運行效率更好。針對Eclat算法運行中產生大量候選項集導致內存占用嚴重等問題，本文提出一種壓縮數據的存儲方式，對運行結果進行壓縮表示，有效減少了網絡通信量，達到提高算法運行效率的目的。
　　對上述3種