金融大數據平臺部分模塊的設計與實現.pdf

1、信息技術的發(fā)展進入大數據時代，金融行業(yè)的應用也在不斷的進行發(fā)展。國內的大數據發(fā)展處于起步階段，很多單位都有建設大數據平臺的需求。國內某金融研究機構，希望建立一個金融大數據平臺，以此來支持其金融研究工作。目前，該金融研究機構的數據來源包括內部金融刊物、商業(yè)金融數據庫、內部研究論文和國內外公開的行業(yè)數據，以這些數據為基礎建立一個金融大數據平臺。金融大數據平臺的建設目標是建設多尺度、多分辨率、多種類、多用戶的金融領域基礎經濟數據體系，深入開發(fā)

2、和應用金融信息資源，構建全國權威的、唯一的、通用的金融信息公共平臺和金融信息咨詢平臺，促進金融行業(yè)數據資源的整合、共享和利用，為國家金融領域信息化規(guī)劃、建設和管理服務，為政府、企業(yè)、專家、公眾提供金融服務。
　　本文根據上述情況，首先介紹了金融大數據平臺的建設背景，然后介紹了建設金融大數據平臺所涉及到的關鍵技術，本文所涉及到的關鍵技術有網絡爬蟲、網頁解析、中文分詞和數據展示技術。然后利用軟件工程的思想完成了對需求的識別和分析工作，

3、進而從系統(tǒng)概要設計的角度介紹了金融大數據平臺的設計思想和整體框架。然后從詳細設計的角度介紹了作者獨立參與的金融大數據平臺中期刊論文數據庫、互聯網數據抓取和應用平臺中的兩個模塊，即理財產品專題和期刊論文檢索的設計思想與實現過程。最后介紹了系統(tǒng)的功能性測試和非功能性測試結果。針對期刊論文數據的特點，詳細介紹了其數據的采集、預處理、數據存儲、數據索引和數據檢索的設計和實現方式，采用SOLR搜索引擎的技術方案對期刊論文進行全文索引，并提供基本檢

4、索、高級檢索、全文下載和在線閱讀的功能。在互聯網理財產品數據信息的處理部分，詳細介紹了互聯網理財產品數據的采集方案、存儲方案和數據展示方案。使用網絡爬蟲技術來抓取互聯網信息，采用JSOUP技術來解析和抽取頁面數據，使用人工與程序結合的方式來每日更新理財產品數據，同時使用SOLR索引技術對抓取到的數據進行索引，并完成了部分理財產品數據的統(tǒng)計結果展示。針對國家統(tǒng)計數據，詳細介紹了統(tǒng)計數據的抓取策略以及數據的存儲策略。
　　目前，金融大