基于Hadoop的海量圖書流通數(shù)據(jù)的kmeans分析.pdf

1、隨著數(shù)據(jù)時代的到來，我們無時無刻都要面對各種類型的數(shù)據(jù)。然而，這些龐大的數(shù)據(jù)雜亂無章，讓人束手無策，如何及時有效的發(fā)現(xiàn)這些數(shù)據(jù)背后的規(guī)律性的、價值性的信息變得尤為重要。聚類分析是數(shù)據(jù)挖掘領域中的一項重要技術，通過聚類可以發(fā)現(xiàn)數(shù)據(jù)的分布模式和數(shù)據(jù)屬性間存在的關系，它一直是學術界的研究熱點問題。除此之外，云計算平臺Hadoop的興起，使得數(shù)據(jù)挖掘變得快速高效。
　　本文通過對kmeans聚類算法的研究，針對傳統(tǒng)算法存在的缺陷提出了兩個

2、方面的改進。第一點是對于kmeans初始聚類中心的確定，提出了基于抽樣和最大最小距離結合的方法，并對研究過程中出現(xiàn)的孤立點問題，提出了基于網(wǎng)格化和距離的處理方法。改進后的算法提高了執(zhí)行效率和準確度。第二點的改進是在Hadoop上實現(xiàn)kmeans聚類算法的并行化設計，借助MapReduce并行編程模型，實現(xiàn)Map和Reduce兩個過程的設計。最后通過分析改進后算法的加速比和復雜度，對算法性能進行評估，改進后的kmeans聚類算法的聚類效果