基于hadoop的APT建模與流量預處理技術研究與實現(xiàn).pdf

1、高級持續(xù)性威脅（APT）是指精通復雜技術的入侵者利用多種入侵向量(如網(wǎng)絡、物理和欺詐)，借助豐富資源創(chuàng)建機會實現(xiàn)自己目的的行為。近年來，APT事件頻頻發(fā)生，例如RSA SecurID事件、“Night Dragon”事件等等，對企業(yè)跟社會造成很大的威脅。因此，APT檢測技術的研究勢在必行，對APT檢測技術進行研究是現(xiàn)在網(wǎng)絡信息安全領域非常關鍵的一個研究點。
　　本文對典型的APT入侵案例進行建模分析，設計了典型APT入侵—“Nig

2、ht Dragon”的類圖、順序圖和活動圖等內容，在此基礎上，分析了APT入侵行為的一般性規(guī)律和特點，并將其與傳統(tǒng)的黑客入侵行為進行對比。該部分研究結果表明，APT入侵行為具有持續(xù)時間長、隱蔽性高的特性，對檢測數(shù)據(jù)來源的時間跨度和空間覆蓋程度以及檢測算法的復雜性均提出了較高的要求。
　　通過建模發(fā)現(xiàn)，對APT的檢測勢必需要對大量的網(wǎng)絡流量數(shù)據(jù)進行分析，而由于原始網(wǎng)絡流量的數(shù)據(jù)量過于龐大，對其進行分析需要大量的系統(tǒng)資源，同時分析效率

3、也比較低。因此，為了能夠更好的對APT進行檢測，本文將對NetFlow流原始數(shù)據(jù)進行一定預處理以供APT分析檢測所用。
　　對一個內部網(wǎng)絡的所有網(wǎng)絡流量進行預處理，本文針對 NetFlow流的預處理進行研究，主要包括將網(wǎng)絡中所有的 NetFlow流數(shù)據(jù)進行采集以及對其進行聚合處理以供分析。本文設計了一個可以高效采集 NetFlow流的采集器，基于多鏈表隊列的緩沖機制降低丟包率。
　　同時由于繁忙網(wǎng)絡中，NetFlow流的產(chǎn)生

4、速度比較快，數(shù)量比較多，因此對其進行分析可以首先將它們按照一定規(guī)則進行聚合，減少數(shù)據(jù)的分析量，提高分析效率。在 NetFlow流聚合上設計了基于時間的多重數(shù)據(jù)粒度以滿足分析需求，再根據(jù)網(wǎng)絡流量特點，設計出幾種NetFlow流聚合策略，基于IP的NetFlow流聚合、基于端口的NetFlow流聚合以及基于協(xié)議的NetFlow流聚合。
　　Hadoop是當前最為主流的大數(shù)據(jù)分析平臺，它是分布式的處理架構。本文基于Hadoop大數(shù)據(jù)分析