基于Hadoop的出租車數(shù)據(jù)質(zhì)量分析與處理.pdf

1、深圳市通過智能交通系統(tǒng)（Intelligent Transportation System，ITS）建設(shè)，建立了智能交通公用信息平臺，信息平臺每天采集到海量的交通數(shù)據(jù)，這些數(shù)據(jù)蘊(yùn)含著豐富的交通信息。高質(zhì)量的交通數(shù)據(jù)是ITS做出正確決策的保證，然而，實(shí)際的交通數(shù)據(jù)采集過程中，由于設(shè)備故障、外界環(huán)境干擾、人為操作失誤等多種因素的影響使得獲取的原始數(shù)據(jù)不可避免地存在丟失、冗余等質(zhì)量問題。本文結(jié)合項(xiàng)目需求，采用基于Hadoop搭建的云計(jì)算平臺對

2、深圳市海量出租車數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量分析，并面向數(shù)據(jù)質(zhì)量進(jìn)行數(shù)據(jù)處理，主要工作包括以下幾個(gè)方面：
　?。?）研究國內(nèi)外學(xué)者數(shù)據(jù)質(zhì)量評估和數(shù)據(jù)清洗方面取得的成果與不足，并在此基礎(chǔ)上引出本文的研究內(nèi)容。
　?。?）根據(jù)項(xiàng)目需求設(shè)計(jì)了基于決策學(xué)中層次分析法結(jié)合歷史數(shù)據(jù)的評價(jià)體系，利用層次分析法計(jì)算評價(jià)指標(biāo)權(quán)值并以歷史數(shù)據(jù)的期望為基準(zhǔn)得到數(shù)據(jù)質(zhì)量分?jǐn)?shù)，將數(shù)據(jù)質(zhì)量問題量化，直觀的反映數(shù)據(jù)質(zhì)量狀況。
　　（3）針對深圳市出租車數(shù)據(jù)特征

3、提出了GPS數(shù)據(jù)和營運(yùn)數(shù)據(jù)質(zhì)量評價(jià)方案，首先找到影響數(shù)據(jù)質(zhì)量的主要因素，確定各自的評價(jià)指標(biāo)，然后針對數(shù)據(jù)集中存在的冗余、不完整和錯(cuò)誤數(shù)據(jù)，提出相應(yīng)的評價(jià)規(guī)則算法判斷是否符合條件。
　?。?）面向深圳市出租車數(shù)據(jù)質(zhì)量分析結(jié)果，提高數(shù)據(jù)質(zhì)量。重點(diǎn)研究了重復(fù)數(shù)據(jù)清洗技術(shù)，提出了基于 MapReduce的分塊去重算法刪除重復(fù)數(shù)據(jù)。然后分別對GPS數(shù)據(jù)和營運(yùn)數(shù)據(jù)提出了基于Hadoop平臺的出租車數(shù)據(jù)清洗方案，數(shù)據(jù)清洗方案主要針對數(shù)據(jù)不完整、

4、冗余和錯(cuò)誤的質(zhì)量問題，將傳統(tǒng)的清洗技術(shù)遷移到云平臺。
　?。?）將清洗后高質(zhì)量的 GPS數(shù)據(jù)應(yīng)用于出租車?？奎c(diǎn)研究，提出了基于DBSCAN的?？奎c(diǎn)檢測算法，從非載客的軌跡數(shù)據(jù)中找到出租車?？奎c(diǎn)，檢測算法主要分為三個(gè)步驟：候選點(diǎn)獲取，候選點(diǎn)過濾和?？奎c(diǎn)候選點(diǎn)聚類。候選點(diǎn)的獲取是根據(jù)候選點(diǎn)檢測算法，然后利用時(shí)間和空間屬性對候選點(diǎn)過濾，最后分析各種聚類算法優(yōu)缺點(diǎn)，選擇DBSCAN聚類算法進(jìn)行?？奎c(diǎn)聚類。
　　通過建立的數(shù)據(jù)質(zhì)量評價(jià)