基于Hadoop平臺的實體識別系統(tǒng)的研究與實現(xiàn).pdf

1、近些年隨著科技的發(fā)展，人們從生產(chǎn)、生活中積累并抽象產(chǎn)生出更多的數(shù)據(jù)，使得傳統(tǒng)的信息系統(tǒng)不再適合處理、計算現(xiàn)有的數(shù)據(jù)，并且通過研究表明計算機的物理性能已經(jīng)基本達(dá)到極限，摩爾定律正在漸漸失效。針對這類問題，研究人員提出了各種各樣的解決方法。例如將現(xiàn)有的計算機擴展為一機多核等，通過改造cpu來達(dá)到提高計算機性能的目的，并且在實際應(yīng)用取得成功，但是僅僅這些還滿足不了對海量數(shù)據(jù)的計算。2007年，Google首先提出了商業(yè)云計算概念，進(jìn)一步帶動計

2、算機領(lǐng)域?qū)υ朴嬎愕难芯俊，F(xiàn)有的云計算系統(tǒng)主要是通過將一組廉價的計算機組織起來，相互連接協(xié)同操作，其所能達(dá)到的性能堪比價格昂貴的超級服務(wù)器。
　　 本文以云計算中的實體識別技術(shù)為背景，在Hadoop平臺中設(shè)計并實現(xiàn)了在大數(shù)據(jù)集上使用條件函數(shù)依賴約束進(jìn)行數(shù)據(jù)過濾的實體識別系統(tǒng)。
　　 本文主要研究內(nèi)容及貢獻(xiàn)如下：
　　 (1)首先研究了云計算的發(fā)展，并針對云計算環(huán)境中對數(shù)據(jù)質(zhì)量研究工作較少的現(xiàn)狀提出了在云計算環(huán)境中基

3、于過濾條件函數(shù)依賴約束的實體識別問題。
　　 (2)針對基于MapReduce框架的Hadoop平臺，以及其分布式文件存儲系統(tǒng)進(jìn)行了分析。通過研究在Hadoop平臺下執(zhí)行計算任務(wù)的工作流程以及數(shù)據(jù)中條件函數(shù)依賴約束的特點，利用共享輸入數(shù)據(jù)和共享Map中間結(jié)果兩種方法，提出了解決在Hadoop平臺下基于條件函數(shù)依賴的實體識別任務(wù)的優(yōu)化合并。通過使用任務(wù)合并技術(shù)可以高效的對在大數(shù)據(jù)集上的條件函數(shù)依賴約束進(jìn)行檢查，而且可以優(yōu)化合并輸入