數(shù)據(jù)質(zhì)量評估與提升方法及應(yīng)用研究.pdf

1、在數(shù)據(jù)的產(chǎn)生、存儲、傳輸?shù)倪^程中，難免會出現(xiàn)錯誤數(shù)據(jù)、缺失數(shù)據(jù)等問題，數(shù)據(jù)的存在是因為它的價值，有些數(shù)據(jù)用作證據(jù)，有些數(shù)據(jù)用來做分析和預(yù)測；不管數(shù)據(jù)的作用是什么，如果數(shù)據(jù)出現(xiàn)錯誤、缺失以及其他問題，都會降低數(shù)據(jù)存在的價值，有時甚至帶來深重的災(zāi)難。因此，確保數(shù)據(jù)的高質(zhì)量，是有效利用數(shù)據(jù)的基礎(chǔ)。近年來，數(shù)據(jù)呈現(xiàn)爆炸式增長，人們對大數(shù)據(jù)的熱情與日俱增，很多人努力尋找更好的數(shù)據(jù)分析方法，很少人注重數(shù)據(jù)質(zhì)量問題，對數(shù)據(jù)質(zhì)量進(jìn)行研究的文章比較少。本

2、文通過對數(shù)據(jù)質(zhì)量管理研究的文獻(xiàn)進(jìn)行梳理，總結(jié)在這方面的研究成果，重點討論了數(shù)據(jù)質(zhì)量評估和數(shù)據(jù)質(zhì)量提升方法，將聚類和分類方法引入到數(shù)據(jù)質(zhì)量評估過程中，列舉并比較了幾種常見的聚類和分類方法，探索了這兩種方法在數(shù)據(jù)質(zhì)量評估的可行性，將測量工具分析方法Gage R&R以及方差分析法用于可行性分析，最后簡單介紹了針對不同的數(shù)據(jù)質(zhì)量問題應(yīng)該采用的提升方法。以消費者投訴數(shù)據(jù)為實例研究對象，選擇K-means聚類對數(shù)據(jù)進(jìn)行質(zhì)量評估，聚類數(shù)對應(yīng)于待檢驗的