基于規(guī)則的信息系統(tǒng)環(huán)境下重復(fù)記錄清理的實(shí)現(xiàn).pdf

1、重復(fù)記錄清理作為保證數(shù)據(jù)質(zhì)量的手段之一，一直以來(lái)也是數(shù)據(jù)清理(Data Cleansing)的重要環(huán)節(jié)。通常情況下，隨著數(shù)據(jù)在數(shù)據(jù)庫(kù)中不斷的積累，由于各種各樣的原因，會(huì)產(chǎn)生大量的重復(fù)記錄，而其中大量重復(fù)的基礎(chǔ)數(shù)據(jù)對(duì)數(shù)據(jù)質(zhì)量和數(shù)據(jù)使用效果影響最為嚴(yán)重，根據(jù)“進(jìn)去的是垃圾，出來(lái)的也是垃圾”這條原理，數(shù)據(jù)質(zhì)量的好壞不但影響了業(yè)務(wù)數(shù)據(jù)的質(zhì)量而且影響系統(tǒng)的服務(wù)效率。然而絕大多數(shù)關(guān)于數(shù)據(jù)清理的研究集中在數(shù)據(jù)清理方法和數(shù)據(jù)識(shí)別算法上，而忽視了數(shù)據(jù)的業(yè)

2、務(wù)相關(guān)性。
　　 對(duì)于企業(yè)信息系統(tǒng)集成環(huán)境下重復(fù)記錄的清理，本文結(jié)合傳統(tǒng)的數(shù)據(jù)清理方法提出了基于規(guī)則的數(shù)據(jù)庫(kù)重復(fù)記錄清理的方法。著重介紹了如何定義和使用字段模式規(guī)則和重復(fù)記錄清理規(guī)則。在字段模式規(guī)則中介紹了如何通過(guò)字段模式糾正數(shù)據(jù)表中異常的字段值；在重復(fù)記錄清理規(guī)則中介紹了如何使用匹配規(guī)則、業(yè)務(wù)規(guī)則和規(guī)則矩陣識(shí)別重復(fù)記錄，針對(duì)企業(yè)信息應(yīng)用系統(tǒng)中包含大量復(fù)雜的業(yè)務(wù)流程，首先通過(guò)匹配規(guī)則得到包含有重復(fù)記錄的重復(fù)記錄組；再通過(guò)特定領(lǐng)域

3、的業(yè)務(wù)規(guī)則的運(yùn)用從重復(fù)記錄組中匹配得到一個(gè)符合業(yè)務(wù)規(guī)則條件的記錄，稱(chēng)為“目標(biāo)記錄”。而重復(fù)記錄組中的其他記錄則被稱(chēng)為“臟記錄”，“目標(biāo)記錄”將用于取代數(shù)據(jù)庫(kù)中的“臟記錄”；最后通過(guò)匹配規(guī)則和業(yè)務(wù)規(guī)則組成的二維矩陣判斷所得到的重復(fù)記錄組的可靠性，可靠性較高的重復(fù)記錄組可以直接進(jìn)入重復(fù)記錄清理過(guò)程，而可靠性較低的重復(fù)記錄組需要人工檢查來(lái)保證重復(fù)記錄清理的安全。
　　 在記錄清理規(guī)則匹配得到重復(fù)記錄組的基礎(chǔ)本文介紹了如何在數(shù)據(jù)庫(kù)中根據(jù)

4、數(shù)據(jù)表的二維屬性特征，通過(guò)橫向的表間清理把相關(guān)表中的“臟記錄”用“目標(biāo)記錄”取代；通過(guò)縱向的表內(nèi)清理在待清理記錄對(duì)象表中合并和刪除重復(fù)記錄組中的“臟記錄”。在信息系統(tǒng)中清除重復(fù)記錄包含一定的危險(xiǎn)性，因此對(duì)所清理的重復(fù)記錄和相關(guān)業(yè)務(wù)記錄需要完全備份，本文介紹了如何備份重復(fù)記錄清理過(guò)程中所處理的各種記錄。
　　 由于企業(yè)信息系統(tǒng)同包含有多個(gè)應(yīng)用，為了保證數(shù)據(jù)在各個(gè)應(yīng)用系統(tǒng)的一致，使用了基于消息集成總線的重復(fù)記錄清理集成模式，通過(guò)系統(tǒng)

5、集成在企業(yè)應(yīng)用系統(tǒng)之間進(jìn)行記錄清理，保證應(yīng)用系統(tǒng)之間數(shù)據(jù)記錄的一致性和完整性，并且通過(guò)快速的集成開(kāi)發(fā)把記錄清理引入到新應(yīng)用系統(tǒng)中。
　　 結(jié)合上述方法的研究和當(dāng)前企業(yè)的IT基礎(chǔ)架構(gòu)，本文提出了一種在當(dāng)前信息系統(tǒng)集成環(huán)境下基于規(guī)則的重復(fù)記錄清理框架，它充分利用了數(shù)據(jù)庫(kù)現(xiàn)有的技術(shù)手段和工具，并集成了所開(kāi)發(fā)的規(guī)則庫(kù)、異常字段清理模塊、重復(fù)記錄匹配模塊、數(shù)據(jù)合并模塊和數(shù)據(jù)集成發(fā)布模塊。在此框架上可以完成規(guī)則庫(kù)的定義、異常字段清理、重復(fù)記