大規(guī)模高速網(wǎng)絡數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著計算機網(wǎng)絡技術(shù)的快速發(fā)展，用戶數(shù)量和應用的種類、規(guī)模以近乎指數(shù)規(guī)律增長。在這種急劇膨脹的驅(qū)使下，網(wǎng)絡規(guī)模不斷擴大，網(wǎng)絡流量不斷增長，網(wǎng)絡結(jié)構(gòu)和網(wǎng)絡行為越來越復雜，網(wǎng)絡運行也越來越容易出現(xiàn)技術(shù)性問題。目前，研究人員主要通過網(wǎng)絡測量，獲取網(wǎng)絡中各類應用的流量差異，以及影響網(wǎng)絡性能和服務質(zhì)量的因素，從中探尋這一龐大非線性復雜系統(tǒng)所表現(xiàn)的未知行為，進而為技術(shù)和管理策略的改進提供參考。被動測量由于對網(wǎng)絡運行無干擾，測量數(shù)據(jù)能最真實地反映網(wǎng)絡行

2、為，所以被廣泛應用于網(wǎng)絡測量工作。但是，對于主干速率在1Gbps以上的大規(guī)模高速網(wǎng)絡，海量數(shù)據(jù)的采集、整理、分析處理等都是被動測量需要解決的難題。 本論文的研究內(nèi)容和相關(guān)工作，著重于大規(guī)模高速網(wǎng)絡被動測量這一背景下，與測量和網(wǎng)絡行為分析密切相關(guān)的海量數(shù)據(jù)采集后的歸并整理和分析處理這兩大難點。論文將詳細探討多鏈路高速主干信道報文數(shù)據(jù)的歸并整理策略，研究和實現(xiàn)一個適應大規(guī)模高速網(wǎng)絡海量數(shù)據(jù)處理需求的IPTrace數(shù)據(jù)分析系統(tǒng)-IP

3、TraceAnalysis System(IPTAS)，并利用1PTAS對采集自CERNET江蘇省網(wǎng)邊界信道的Trace進行分析。 論文首先研究在CERNET江蘇省網(wǎng)邊界信道上采集的并行報文數(shù)據(jù)的歸并整理策略。論文介紹了2005年11月10日利用Watcher1.1系統(tǒng)采集的數(shù)據(jù)特征，并針對數(shù)據(jù)中的存在問題，詳細分析了產(chǎn)生原因。為了將數(shù)據(jù)整理成可在研究中使用的Trace，論文設計了時戳亂序報文的排序算法和并行報文數(shù)據(jù)的多路歸并算

4、法。在此基礎上設計了兩個數(shù)據(jù)整理工具，并利用它們，在計算機集群系統(tǒng)上完成了數(shù)據(jù)的排序和歸并。論文還研究了Watcher1.1系統(tǒng)內(nèi)采集器之間的時鐘相對漂移對Trace中報文時戳的影響。 然后，論文設計和實現(xiàn)IP Trace數(shù)據(jù)分析系統(tǒng)(IPTAS)。論文分析了系統(tǒng)的需求，提出IPTAS應該具有支持良好擴展性的體系結(jié)構(gòu)，以支持在使用系統(tǒng)的過程中只經(jīng)過簡易步驟就可以擴展系統(tǒng)的數(shù)據(jù)分析功能。論文根據(jù)系統(tǒng)7個方面的需求概要設計了IPTA

5、S應該具有的功能，對IPTAS中的關(guān)鍵問題進行了詳細研究，并給出具體的解決方案。在解決了關(guān)鍵問題之后，論文依據(jù)功能設計和關(guān)鍵問題研究中設計的體系結(jié)構(gòu)、模型與過程，實現(xiàn)了IPTAS，得到一個基于網(wǎng)絡的、支持多用戶的IP Trace數(shù)據(jù)分析系統(tǒng)。 最后，論文對IPTAS進行測試。測試表明，符合規(guī)范的數(shù)據(jù)分析算法能夠經(jīng)過簡易的過程成功擴展到系統(tǒng)框架之下，并成功進行數(shù)據(jù)分析，相關(guān)功能達到了預期目標。論文利用IPTAS分析一個Trace，