基于Hadoop海量數(shù)據處理關鍵技術研究.pdf

1、互聯(lián)網從誕生至今經歷了接近半個世紀的時間，已深入到我們生活的方方面面。如今，在經歷了 WEB2.0時代之后，互聯(lián)網正在向第三代——網絡服務個性化?；ヂ?lián)網的個性化演進過程中引發(fā)了數(shù)據的海量化，面對如此海量化的數(shù)據傳統(tǒng)的單臺超級服務器也逐漸顯得力不從心，海量數(shù)據的處理逐漸成為一個棘手的難題。海量數(shù)據的產生與處理既是挑戰(zhàn)也是機遇，海量數(shù)據為數(shù)據挖掘提供了豐富的數(shù)據源，從中挖掘出的信息更加具有商業(yè)價值?；谝陨锨闆r，今天，海量數(shù)據的處理已成為各

2、大互聯(lián)網公司投資研究的熱門技術，中小企業(yè)也爭相投入到這場數(shù)據盛宴中來。
　　2006年 Google所提出的云計算概念為海量數(shù)據處理的研究指明了方向，Apache基金會所研發(fā)的開源 Hadoop云平臺的開源特性更是為廣大研究者帶來了低成本海量數(shù)據處理的曙光。傳統(tǒng)的數(shù)據處理方法與技術在單臺服務器情況下表現(xiàn)優(yōu)越，但面對云平臺的分布式處理模式已不再適應。將傳統(tǒng)的數(shù)據處理方法進行分布式計算模式改造，并在此基礎上進行算法改進與性能的提升對于

3、在海量數(shù)據處理的研究將有重大的意義。
　　本文首先從云計算理論出發(fā)，介紹了云計算的發(fā)展歷程與技術體系，并對現(xiàn)有多款云計算平臺做了分析與對比。之后選定Hadoop開源云平臺作為項目的基礎研究平臺，對其進行深入的分析與討論。接下來對現(xiàn)有數(shù)據處理技術進行討論。
　　文章第三、四部分是項目研究的核心內容，其主要內容為：
　　1）第三部分主要對海量web日志數(shù)據預處理模型進行研究。文章在總結傳統(tǒng)經典預處理模型的基礎上提出基于二次