數(shù)據(jù)倉庫與數(shù)據(jù)挖掘若干理論研究及在CIPS中的應用.pdf

1、隨著信息技術的不斷推廣應用，大量的先進制造企業(yè)采用了計算機及相應的信息技術進行管理和運營，收集、存貯了海量的生產(chǎn)經(jīng)營記錄，但同時，大量的信息也帶來了真假信息難以識別，很難提取出企業(yè)真正需要的知識的問題，企業(yè)普遍面臨數(shù)據(jù)爆炸卻有效的信息和知識相對短缺的狀態(tài)，因此，如何對數(shù)據(jù)進行有針對性的開采，發(fā)掘出有價值的信息和知識，形成企業(yè)的know-how，指導企業(yè)的技術決策和經(jīng)營決策，對于企業(yè)的發(fā)展，將發(fā)揮出舉足輕重的作用。數(shù)據(jù)倉庫和數(shù)

2、據(jù)挖掘就是解決上述問題的關鍵技術之一。本文以某流程企業(yè)為背景，對數(shù)據(jù)倉庫和數(shù)據(jù)挖掘若干理論進行研究并針對企業(yè)的實際情況順利地實施，為企業(yè)生產(chǎn)經(jīng)營活動的協(xié)調(diào)與整體優(yōu)化和設備的正常運行、故障預警提供了豐富的決策依據(jù)，主要內(nèi)容如下。無論實施數(shù)據(jù)倉庫還是數(shù)據(jù)挖掘，都要首先進行數(shù)據(jù)預處理。針對流程企業(yè)數(shù)據(jù)源中存在的質(zhì)量問題，提出了數(shù)據(jù)清洗的ETL的具體框架，采用不同算法和技術對數(shù)據(jù)進行了有效的清洗、轉(zhuǎn)換和裝載，為數(shù)據(jù)倉庫提供了可靠的數(shù)

3、據(jù)來源，在此基礎上，分別采用DWER模型分析了具有復雜維結構和聚集的生產(chǎn)計劃和實際費用的數(shù)據(jù)倉庫，星鏈ER模型(StarChainER)分析具有鏈式事實主題的副產(chǎn)品庫存和銷售的數(shù)據(jù)倉庫。最終建立起來以生產(chǎn)費用、油氣生產(chǎn)、干氣和副產(chǎn)品庫存和銷售為主題的數(shù)據(jù)倉庫。根據(jù)流程企業(yè)中參數(shù)點的重要性不同和用連續(xù)數(shù)據(jù)表示的特點，分別研究加權關聯(lián)規(guī)則理論和模糊關聯(lián)規(guī)則理論及在流程企業(yè)中的應用，針對數(shù)據(jù)的不同特點，采用不同的模糊隸屬函數(shù)處理

4、了連續(xù)數(shù)據(jù)；然后把加權和模糊結合起來，提出了兩種新的方法實現(xiàn)了模糊加權關聯(lián)規(guī)則：把項集的模糊數(shù)綜合為權值的方法和Fuzzy WedApriori算法，并在流程企業(yè)中有效應用。鑒于實時數(shù)據(jù)庫中數(shù)據(jù)點有時間戳的優(yōu)勢，在現(xiàn)有的研究基礎上，從兩個角度發(fā)展了時間序列模式發(fā)現(xiàn)，首先采用兩種算法：TimeSeq- Apriori算法和TimeSeq PrefixSpan算法分析了具有時間間隔的時間序列分析；然后提出了時間序列拓撲的思想，并

5、根據(jù)時序數(shù)據(jù)庫構造了FTP-圖，采用FFP-圖連接、候選TP圖剪枝和采用哈希樹的候選TP-圖計數(shù)方法，編制了FrequentTimePattem Graph算法有效地挖掘出頻繁模式圖的時間序列，為企業(yè)設備運行時決策過程提供了理論依據(jù)。采用加權聚類方法對關鍵設備的大量歷史數(shù)據(jù)進行分析，建立了設備正常情況的聚類模型，提出了緊密(離核)指數(shù)、離群指數(shù)和綜合指數(shù)的計算方法，實現(xiàn)了對設備有效的實時監(jiān)控。蟻群算法是一種比較先進的模擬進化