農業(yè)大數據清洗方法比較研究.pdf

1、隨著信息技術的飛速發(fā)展，數據以驚人的速度產生并積累下來，大數據時代已經來臨，數據作為繼石油之后的又一個重要戰(zhàn)略資源，在醫(yī)療、交通、能源等各個領域中發(fā)揮著重要作用。農業(yè)是我國的基礎產業(yè)，正處于從傳統(tǒng)農業(yè)向現(xiàn)代農業(yè)的歷史轉變過程之中，產生了數量可觀的農業(yè)大數據，我國正努力打造農業(yè)大數據平臺以服務于現(xiàn)代農業(yè)建設。然而，由于農業(yè)信息化水平較其他產業(yè)相對落后以及農業(yè)本身的復雜性，農業(yè)大數據的質量參差不齊。高質量的數據是大數據發(fā)揮價值的關鍵，因此，

2、對農業(yè)大數據的質量進行評估，并采取措施進行數據清洗以提高農業(yè)大數據的質量，具有重要意義。
　　本文基于以上背景對農業(yè)大數據的清洗方法進行了研究。首先，在文獻研究的基礎上，梳理了數據清洗和數據質量的理論知識和國內外對數據清洗技術的研究現(xiàn)狀，并對目前市場上的數據清洗工具進行了對比分析。其次，對我國農業(yè)大數據的現(xiàn)狀和構成進行了研究，并總結了我國農業(yè)大數據的特征及其對數據質量的挑戰(zhàn)，從數據質量的各個維度，設計了具體的評價步驟和方法，采用數

3、據質量調查和數據質量指標測量相結合的方法，對農業(yè)大數據質量進行評估，并將結果放在二維矩陣中進行分析。最后，重點對相似重復記錄的清洗方法進行了比較研究，設計了基于Febrl的數據清洗實驗，選取Web of Science、Science Direct、SpringerLink等數據庫中的農業(yè)文獻數據，對Edit-Dist、Q-gram、Smith-Waterman-Dist算法在字段匹配上的有效性進行了比較，根據原始數據的特點，選擇SNM