基于Hadoop的分布式數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)在各個(gè)領(lǐng)域的深入發(fā)展，各種格式（圖片、音樂(lè)、影視和文檔等）的海量數(shù)據(jù)產(chǎn)生并存儲(chǔ)在數(shù)據(jù)庫(kù)中。從海量數(shù)據(jù)中挖掘有用的知識(shí)，并將這些知識(shí)應(yīng)用于人類(lèi)社會(huì)生產(chǎn)實(shí)踐中，成為信息產(chǎn)業(yè)界的一個(gè)關(guān)鍵任務(wù)。但是數(shù)據(jù)過(guò)多也帶來(lái)了一個(gè)問(wèn)題：“數(shù)據(jù)豐富，信息匱乏”，從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)的成本過(guò)高。需求推動(dòng)技術(shù)的改變。分布式數(shù)據(jù)挖掘技術(shù)為這一問(wèn)題提供了解決方案。
　　實(shí)現(xiàn)分布式數(shù)據(jù)挖掘系統(tǒng)的一項(xiàng)關(guān)鍵步驟就是將傳統(tǒng)的數(shù)據(jù)挖掘算法移植到分布式計(jì)算平臺(tái)中

2、。經(jīng)過(guò)幾十年的發(fā)展，分布式數(shù)據(jù)挖掘領(lǐng)域中涌現(xiàn)出各種各樣的算法，它們都是面對(duì)不同的需求，完成不同的任務(wù)。而將這些算法進(jìn)行改進(jìn)，使之能夠適應(yīng)新的分布式環(huán)境，這是整個(gè)分布式數(shù)據(jù)挖掘的重要一步。。
　　近幾年，開(kāi)源分布式系統(tǒng)Hadoop在國(guó)內(nèi)外得到廣泛的應(yīng)用，經(jīng)過(guò)多年的發(fā)展，也日漸成熟。它是實(shí)現(xiàn)分布式數(shù)據(jù)挖掘系統(tǒng)的一個(gè)絕佳平臺(tái)。
　　所以，本文針對(duì)數(shù)據(jù)挖掘的相關(guān)技術(shù)進(jìn)行研究，對(duì)K-means++算法以及BP神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，使其有效

3、應(yīng)用于分布式系統(tǒng)中，并提供了Hadoop平臺(tái)下的設(shè)計(jì)實(shí)現(xiàn)。本文的研工作包括以下兩個(gè)方面：
　　(1)K-means++算法根據(jù)概率對(duì)初始中心點(diǎn)進(jìn)行選擇，相對(duì)于隨機(jī)選擇的方法更加科學(xué)，算法的效率也較傳統(tǒng)算法有了極大的提高。但是K-mean++算法本身的序列化特性導(dǎo)致其很難在分布式系統(tǒng)中實(shí)現(xiàn)，而且在計(jì)算距離時(shí)，忽略了不同屬性對(duì)聚類(lèi)結(jié)果的影響的差異。本文改進(jìn)了K-mesn++算法的迭代過(guò)程，使其能夠在Hadoop平臺(tái)上實(shí)現(xiàn)，也給出了改進(jìn)

4、算法的MapReduce化偽碼。并且在計(jì)算距離的過(guò)程中，引入屬性權(quán)值的概念，使得重要的屬性能夠?qū)Y(jié)果產(chǎn)生更大的影響，提高聚類(lèi)質(zhì)量。實(shí)驗(yàn)證明了改進(jìn)算法的有效性和并行化能力。
　　(2)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和網(wǎng)絡(luò)結(jié)構(gòu)需要人為設(shè)定，而它們又對(duì)網(wǎng)絡(luò)的分類(lèi)結(jié)果有著至關(guān)重要的影響。取值不當(dāng)會(huì)導(dǎo)致算法收斂很慢甚至不收斂，算法的結(jié)果也有可能只是局部最優(yōu)解。本文使用遺傳算法對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和初值進(jìn)行預(yù)訓(xùn)練，根據(jù)訓(xùn)練出來(lái)的數(shù)據(jù)構(gòu)造網(wǎng)絡(luò)。并對(duì)遺傳算法中的染色體