基于MapReduce的期望最大化算法研究和實(shí)現(xiàn).pdf

1、隨著領(lǐng)域中的數(shù)據(jù)量高速的增長(zhǎng),傳統(tǒng)計(jì)算方法在處理大規(guī)模數(shù)據(jù)集運(yùn)算時(shí)出現(xiàn)了性能上的瓶頸。伴隨著“云計(jì)算”時(shí)代的到來(lái),一種簡(jiǎn)單的并行計(jì)算模型MapReduce進(jìn)入了人們的視線,它將實(shí)現(xiàn)和業(yè)務(wù)邏輯分離,只需要簡(jiǎn)單地調(diào)用接口就可以實(shí)現(xiàn)分布式的計(jì)算。作為一種解決方案,MapReduce有效的解決了傳統(tǒng)算法處理大規(guī)模數(shù)據(jù)集運(yùn)算的性能瓶頸。期望最大化算法作為機(jī)器學(xué)習(xí)中的一個(gè)非常重要的算法,在當(dāng)代的工業(yè)、商業(yè)和科學(xué)研究領(lǐng)域發(fā)揮了越來(lái)越重要的作用,而傳統(tǒng)

2、算法逐漸體現(xiàn)出了對(duì)大數(shù)據(jù)量的不適應(yīng)。因此,將該算法移植到云平臺(tái)上,從而突破性能上的限制是非常有意義的事情。
　　首先對(duì)Hadoop項(xiàng)目和MapReduce模型做了深入的分析,并在現(xiàn)有的MapReduce算法基礎(chǔ)上提出了一些改進(jìn)方案,第三章介紹了最大期望算法的原理,并詳細(xì)地分析了該算法能移植到云平臺(tái)的原因。第四章提出了期望最大化算法在MapReduce中實(shí)現(xiàn)方案,分析了隱馬爾科夫模型訓(xùn)練問(wèn)題,該問(wèn)題的解決方案是期望最大化算法的一種特

3、殊情況,并在此基礎(chǔ)上提出并實(shí)現(xiàn)了MR-BaumWelch算法。第五部分對(duì)MR-BaumWelch算法性能做了測(cè)試,并和單機(jī)計(jì)算框架Giza++做了對(duì)比分析,結(jié)果表明移植到MapReduce計(jì)算框架后,算法在處理數(shù)量和處理效率上都有較大的提升。
　　MR-BaumWelch算法是在海量數(shù)據(jù)處理需求的前提下,將期望最大化算法和MapReduce計(jì)算模型結(jié)合的一種算法,實(shí)現(xiàn)了傳統(tǒng)算法向“云計(jì)算”平臺(tái)的遷移。并充分考慮到了未來(lái)業(yè)務(wù)的發(fā)展需