基于MongoDB的非結構化數(shù)據(jù)管理的研究與應用.pdf

1、隨著大數(shù)據(jù)技術的不斷發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)的主流逐漸從結構化數(shù)據(jù)轉變?yōu)榉墙Y構化數(shù)據(jù)，然而非結構化數(shù)據(jù)具有種類繁多、規(guī)模巨大且難以標準化的特點，管理相當困難。運用大數(shù)據(jù)技術實現(xiàn)高效的非結構化數(shù)據(jù)管理是重要的研究方向。因此，有了本論文的研究內容。本文主要研究內容分為三部分：MongoDB、非結構化數(shù)據(jù)管理，及MongoDB應用于非結構化數(shù)據(jù)管理。設計并實現(xiàn)基于MongoDB，結合其他大數(shù)據(jù)技術的非結構化數(shù)據(jù)管理系統(tǒng)是康賽公司共享數(shù)據(jù)中心的升級項目

2、，是本文應用的主要體現(xiàn)。
　　首先，本文對選題的背景、來源、研究內容及貢獻、NoSQL數(shù)據(jù)庫研究現(xiàn)狀做介紹，總結非結構化數(shù)據(jù)管理的研究方向，介紹每個方向上的研究現(xiàn)狀。在此基礎上，通過自己的總結和分析對非結構化數(shù)據(jù)管理的總體架構進行介紹，并對各模塊的關鍵技術進行深入研究，為本文的研究、設計與實現(xiàn)工作打下基礎。
　　然后，本文詳細介紹系統(tǒng)的研究與設計工作。通過研究MongoDB、HDFS及關系數(shù)據(jù)庫的特性，確定MongoDB存元

3、數(shù)據(jù)和小文件，HDFS存大文件的存儲方案。接著，通過分析生產環(huán)境下數(shù)據(jù)采集模塊的實際應用，設計基于Zookeeper和負載權值的數(shù)據(jù)采集協(xié)調器。通過研究MongoDB全文索引的不足，設計基于MongoDB+ElasticSearch的數(shù)據(jù)寫入與數(shù)據(jù)讀取分離的檢索功能并提出一種MongoDB的分頁優(yōu)化方法。隨后，通過研究信息孤島和信息整合，設計應用服務接口。通過分析大數(shù)據(jù)量下查詢與計算的問題，設計基于MongoDB的查詢與計算分離的統(tǒng)計分

4、析功能。通過研究MongoDB自動分片和副本集，設計系統(tǒng)擴展性和高可用性，同時提出一種基于增刪改查頻率的MongoDB數(shù)據(jù)塊遷移方法。緊接著，介紹系統(tǒng)應用層數(shù)據(jù)庫的設計，通過用戶權限表實現(xiàn)用戶級的數(shù)據(jù)共享。
　　最后，本文詳細介紹系統(tǒng)的實現(xiàn)工作。按照系統(tǒng)性能設計，進行MongoDB的物理部署。結合HttpClient和poi實現(xiàn)主動采集功能，提供一種根據(jù)文件流的特定字節(jié)標識判斷文件類型的方法。通過研究數(shù)據(jù)采集時的用戶體驗度問題，提