基于CWM的ETL工具的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、ETL，(Extract Transformation Loading，ETL)就是從多個(gè)異構(gòu)數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)，進(jìn)行數(shù)據(jù)清洗和和轉(zhuǎn)換，存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程。ETL是BI/DW的核心和靈魂，按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的重要步驟，ETL的開(kāi)發(fā)也是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)開(kāi)發(fā)過(guò)程中工作量最大、耗時(shí)最長(zhǎng)的部分。 然而，在目前開(kāi)發(fā)ETL系統(tǒng)的過(guò)程中，存在著一些問(wèn)題，其中最典型的就是元數(shù)據(jù)管理混亂問(wèn)題。針對(duì)這個(gè)問(wèn)題，本文提

2、出一種基于公共倉(cāng)庫(kù)元模型(Common Warehouse Metamodel，CWM)來(lái)開(kāi)發(fā)ETL系統(tǒng)的思想，CWM是數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)分析領(lǐng)域的一個(gè)完整的元模型。作為一個(gè)元模型，CWM提供了構(gòu)造描述一個(gè)完整信息供應(yīng)鏈(Information Supply Chain，ISC)的所有組件的元數(shù)據(jù)所需要的語(yǔ)法和語(yǔ)義，從而便于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)和商業(yè)智能系統(tǒng)中的各種工具之間的元數(shù)據(jù)交換，因此直接在CWM框架下開(kāi)發(fā)ETL工具，能大大縮短開(kāi)發(fā)周期并容易

3、被其他工具所理解。 本文首先分析了ETL系統(tǒng)在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的作用和ETL工具的發(fā)展現(xiàn)狀，尤其重點(diǎn)介紹了元數(shù)據(jù)在整個(gè)過(guò)程中的指導(dǎo)控制作用；詳細(xì)分析了CWM中對(duì)ETL過(guò)程提供元模型的各個(gè)包的結(jié)構(gòu)，并以現(xiàn)有包為基礎(chǔ)歸納出數(shù)據(jù)抽取、轉(zhuǎn)換和裝載元模型。以該元模型為指導(dǎo)設(shè)計(jì)ETL系統(tǒng)，首先描述了從CWM模型中每個(gè)類、屬性和關(guān)聯(lián)映射到相應(yīng)的關(guān)系數(shù)據(jù)庫(kù)組件中的方法，構(gòu)建一個(gè)全局元數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)元模型結(jié)構(gòu)和ETL規(guī)則；分析對(duì)操作型數(shù)據(jù)庫(kù)中的數(shù)據(jù)和