銀行交易日志信息數(shù)據(jù)采集系統(tǒng)的研究與實現(xiàn).pdf

1、隨著銀行業(yè)務規(guī)模不斷增大，銀行擁有的客戶信息和交易數(shù)據(jù)也不斷增多，快速高效地采集這些數(shù)據(jù)并進行有效的管理與分析對于銀行未來業(yè)務的發(fā)展至關重要，本文針對這樣的需求，設計與實現(xiàn)銀行交易日志信息數(shù)據(jù)采集系統(tǒng)DataCollectionSystem(DCS)，為銀行基礎數(shù)據(jù)平臺的開發(fā)與運行提供有力支持。
　　本文通過研究銀行基礎數(shù)據(jù)平臺與數(shù)據(jù)源的特點，針對現(xiàn)有數(shù)據(jù)源采集方式面對日益增多的交易日志信息在時間和性能上存在的不足，提出了數(shù)據(jù)源采

2、集方式的改進方法，以達到快速高效的信息數(shù)據(jù)采集，減少數(shù)據(jù)傳輸時間，提高服務器性能。論文的主要工作包括:
　　(1)提出了銀行交易日志信息數(shù)據(jù)采集系統(tǒng)的總體設計方案，解決了現(xiàn)有數(shù)據(jù)源采集方式存在的效率低、耗時長等問題，從整體上提高了數(shù)據(jù)傳輸?shù)男屎图皶r性。
　　(2)提出了以多進程方式和IO多路復用方式為基礎的master-slaves模型，提高了銀行交易日志信息數(shù)據(jù)采集系統(tǒng)的并發(fā)性和穩(wěn)定性，提出了多個slaves工作進程之間

3、負載均衡方法，將請求均勻分布在多個slaves工作進程從而提高服務器性能。
　　(3)依據(jù)經(jīng)典的生產(chǎn)者消費者思想，設計了數(shù)據(jù)緩沖隊列，解決了生產(chǎn)者與消費者同步問題和速率不一致問題，并在防止數(shù)據(jù)管道破裂的同時解決了數(shù)據(jù)丟失問題。
　　(4)利用Linux信號處理機制，實現(xiàn)了DCS平滑升級與配置文件動態(tài)加載功能，從而達到DCS7*24小時不間斷工作，提出了配置文件動態(tài)調整方式，通過解析配置文件對系統(tǒng)的參數(shù)進行動態(tài)調整，提高了系統(tǒng)