基于Hadoop的數(shù)據(jù)部署策略研究.pdf

1、近年來，隨著社交網(wǎng)絡的推廣以及智能設備的普及，數(shù)據(jù)的增長速度也在不斷加快。Hadoop，作為MapReduce的開源實現(xiàn)，在工業(yè)界和學術界的地位正變得越來越重要，大數(shù)據(jù)技術已經(jīng)對社會和經(jīng)濟的發(fā)展產(chǎn)生了直接影響。在Hadoop系統(tǒng)中，數(shù)據(jù)部署影響任務的分發(fā)和執(zhí)行效率，因此，數(shù)據(jù)部署策略的研究有重要的理論意義和實用價值。
　　本文主要研究Hadoop分布式文件系統(tǒng)的默認數(shù)據(jù)部署策略和副本機制。針對原有數(shù)據(jù)部署策略的缺陷，利用節(jié)點的性能

2、和數(shù)據(jù)之間的關聯(lián)，提出一個兩階段數(shù)據(jù)部署算法。在此算法的基礎上，利用K-means算法，調整副本的部署位置，減少算法在運行時的停頓時間。本文主要創(chuàng)新工作包括:
　　1.提出一個基于PageRank的節(jié)點性能評估算法。本文采用多種Benchmark測試對節(jié)點性能進行評估，利用PageRank算法計算各個評估得分的價值，將多個評估得分歸一。
　　2.提出一個兩階段數(shù)據(jù)部署算法(TSDP，Two Stages Data Place

3、ment)。首先根據(jù)性能把數(shù)據(jù)塊部署到各個節(jié)點。再根據(jù)數(shù)據(jù)之間的關聯(lián)度將數(shù)據(jù)塊進行分組，進行數(shù)據(jù)的第二階段部署。實驗表明，TSDP算法相對于一致性hash算法和負載均衡算法，任務執(zhí)行效率明顯提高。
　　3.提出一個新的副本部署算法。本文首先定義了數(shù)據(jù)的熱度，根據(jù)數(shù)據(jù)熱度來調整數(shù)據(jù)的副本數(shù)。然后定義了節(jié)點的關聯(lián)度，利用節(jié)點的關聯(lián)度代替歐氏距離，使用K-means算法計算出聚類中心，從而減少副本的遷移距離，降低TSDP算法在運行時的停