重復(fù)記錄清洗技術(shù)及其在信息管理系統(tǒng)中的應(yīng)用.pdf

1、相似重復(fù)記錄指數(shù)據(jù)集中多條語(yǔ)義相同，但因格式、拼寫(xiě)等異常導(dǎo)致系統(tǒng)不能正確識(shí)別的臟數(shù)據(jù)。檢測(cè)相似重復(fù)記錄就是檢測(cè)并最大限度的減少這些語(yǔ)義相同但表現(xiàn)形式不同的臟數(shù)據(jù)。一般地，臟數(shù)據(jù)集中相似重復(fù)的臟數(shù)據(jù)所占的比重較大。因此，檢測(cè)和消除相似重復(fù)記錄是數(shù)據(jù)清洗的重點(diǎn)和難點(diǎn)之一，也是保證數(shù)據(jù)質(zhì)量的關(guān)鍵因素，正日益受到信息系統(tǒng)研究者的關(guān)注以及企業(yè)的高度重視。
　　 本課題組已經(jīng)開(kāi)發(fā)并實(shí)際運(yùn)行的某省農(nóng)村飲水工程信息管理系統(tǒng)，是一個(gè)大型復(fù)雜的WE

2、B信息系統(tǒng)。在運(yùn)行中發(fā)現(xiàn)系統(tǒng)存在大量的臟數(shù)據(jù)。為了解決臟數(shù)據(jù)問(wèn)題，進(jìn)一步提高系統(tǒng)的實(shí)用性，我們以清理系統(tǒng)臟數(shù)據(jù)、監(jiān)測(cè)與清洗重復(fù)記錄為核心目標(biāo)，在深入學(xué)習(xí)中文分詞技術(shù)、數(shù)據(jù)清洗理論、Web開(kāi)發(fā)技術(shù)、數(shù)據(jù)庫(kù)理論、網(wǎng)絡(luò)通信理論和軟件建模理論的基礎(chǔ)上，基于微軟VisualStudio2008開(kāi)發(fā)平臺(tái)對(duì)該系統(tǒng)進(jìn)行了深入的維護(hù)性研究開(kāi)發(fā)。
　　 農(nóng)村飲水工程信息管理系統(tǒng)中數(shù)據(jù)源涉及到全省上萬(wàn)個(gè)村莊，采集的底層數(shù)據(jù)存在嚴(yán)重的“臟、雜、亂”現(xiàn)象

3、，從而降低了調(diào)查、統(tǒng)計(jì)、分析的精確性和可信度。在系統(tǒng)維護(hù)性研究開(kāi)發(fā)過(guò)程中，作者提出了一種基于中文分詞的地址信息檢測(cè)方法，實(shí)現(xiàn)了數(shù)據(jù)中不完整及錯(cuò)誤的地址信息檢測(cè)糾正功能；提出了一種基于語(yǔ)義樹(shù)的中文相似重復(fù)記錄清洗方法，用以消除原數(shù)據(jù)中的重復(fù)記錄集；運(yùn)用控件編程實(shí)現(xiàn)了數(shù)據(jù)統(tǒng)計(jì)分析功能，提升了用戶體驗(yàn)。
　　 經(jīng)過(guò)對(duì)原系統(tǒng)中新增模塊的分析、設(shè)計(jì)、編碼、測(cè)試及集成后，已消除了原系統(tǒng)中“臟、雜、亂”數(shù)據(jù)的缺陷，提高了數(shù)據(jù)質(zhì)量。目前，該系統(tǒng)