A Comprehensive Vulnerability Based Alert Management Approach.pdf

1、正確的決策而且需要花費更長時間。通常攻擊會產生數千個冗余警報,去除冗余的已驗證警報就變得非常重要。很多基于漏洞的方法也會產生大量孤立警報,這些警報很難與其他警報關聯,影響挖掘警報之間的因果關系。其次,使用過期漏洞數據進行驗證。漏洞數據需要經常更新才能檢測新的攻擊。每天都會在計算機網絡中發(fā)現新的攻擊和漏洞,因此需要查找新威脅,并根據這些威脅更新漏洞數據。再次,已驗證警報的信息太基本并且不完備,不能加強警報的語義。信息中沒有描述警報的相關性

2、、嚴重程度、頻率和資源的機密等級。需要補充警報信息充實警報的語義,在整體上減少不必要警報的數量。最后,這類方法不能將警報與未知攻擊聯系起來。
　　本論文提出更好的基于脆弱性的警報管理框架來解決上述挑戰(zhàn)。首先描述IDS框架的基本思想,然后描述所設計的IDS框架的細節(jié)。
　　(1)IBS框架的基本思想
　　現有警報管理框架設計的目標如下:驗證警報、識別錯誤警報或者通過聚集同一攻擊的相關警報構建攻擊場景。主要想法來自于Hub

3、balli等人最近提出的警報管理研究工作。目標是提出一種有效和快速的警報管理方法,該方法不僅驗證警報,而且刪除大量有關系的冗余和孤立警報。所提方法處理基于簽名IDS產生的警報,驗證、聚類或者關聯同一攻擊的警報,并且以元警報的形式表示。
　　警報管理的基本思想如下。從基于簽名的入侵檢測系統(tǒng)(NIDS)傳感器收集警報。包括提取警報的重要特征如IP地址和端口號,并且存儲在警報管理數據庫中以備后續(xù)分析。預處理的警報被發(fā)送到IDSAlert

4、-EVA數據驗證組件,完成驗證警報和計算警報相關值。明顯的非相關警報有很少或者根本沒有與EVA數據的匹配。已驗證警報傳給警報融合組件。
　　圖1:警報管理框架
　　(2)詳細框架的關鍵描述
　　評估警報管理基本思想之后,我們認為應該改善處理警報的速度和警報的語義。因此,在我們的詳細方法中引入了警報歷史和警報分類。詳細框架由三階段組成。階段1為警報驗證,階段2為警報分類,階段3為警報關聯?？蚣軐崿F的核心是在警報評估過程中

5、引入動態(tài)威脅輪廓(網絡和主機資源信息和通用已知的漏洞信息)。使用動態(tài)威脅輪廓評估攻擊成功可能性,從而改善警報質量。
　　所提方法如下,參考圖2:
　　i.IDS傳感器檢測入侵且發(fā)布警報。
　　ii.接收原始警報,并且使用警報接收單元對其進行預處理。
　　iii.使用警報.元警報歷史關聯器對預處理后的警報與元警報(元警報歷史)進行比較。如果給定警報匹配任何一個元警報,那么認為此警報是正確的,并且發(fā)送給警報關聯組件。

6、如果沒有匹配,認為是可疑警報并且發(fā)送給警報-EVA數據驗證器。
　　iv.警報-EVA數據驗證器使用EVA數據:驗證警報,刪除最可能不感興趣的警報并且計算警報標準。警報加上警報標準標簽變?yōu)檗D換的警報,發(fā)送給階段2(警報分類)。V.轉換的警報根據他們的警報標準被分到一個類中。類中的警報進一步分成兩類(理想感興趣警報和局部感興趣警報)。這些警報類發(fā)送到警報關聯組件。Vi.警報關聯組件減少冗余和孤立警報,找到警報間的因果關系。子關聯器特

7、定的對于一類警報。關聯的警報以元警報的方式呈現。頻繁的元警報被發(fā)送到元警報歷史主要是因為:關聯后面的相關警報和輔助修改IDS簽名。Vii.分析者接收元警報并且觀察警報的優(yōu)先級和攻擊的特性。
　　圖2:警報管理系統(tǒng)的細節(jié)設計
　　(3)警報驗證方法
　　警報驗證是主要組件之一。網絡中的威脅來源于它自身的漏洞。每個攻擊都是利用特定應用、服務、端口或者協議的漏洞。傳統(tǒng)IDS運行在默認的簽名庫上,不檢查局部網絡內容與入侵的關系

8、。因此產生的大量原始警報對于網絡內容沒有用處。
　　設計網絡的動態(tài)威脅框架,稱為加強漏洞評估(EVA)數據。EVA數據代表可能被攻擊者利用的網絡漏洞。根據IDS、名稱、優(yōu)先級、口地址、端口、協議、分類、時間和應用列出所有漏洞。網絡特定的漏洞生成器通過建立漏洞所有元素的關系,來構建EVA數據。漏洞所有元素來自于三個方面:
　　·已知漏洞數據庫,如CVE數據庫提供漏洞的額外信息。
　　·漏洞掃描器生成掃描報告,包括威脅、入

9、侵和網絡存在的漏洞。報告指出可能被占用的網絡資源。很多漏洞掃描器可以產生這些信息,如Nessus和Protector-plus。腳本語言Perl能夠處理來自于不同掃描器的報告。
　　·網絡資源數據庫包括網絡信息,如網絡中的主機、應用、口地址和端口等。
　　生成器使用加強的實體關系(ER)模型捕捉和構建EVA數據。ER模型的數據包括:主機、端口、應用、端口威脅、應用威脅、占用、漏洞和攻擊信息。使用IDSAlert-EVA數據驗

10、證器驗證警報:驗證器使用給定警報的IP地址找到EVA數據中的潛在威脅,從潛在威脅中選擇最能代表警報的威脅,如所選的漏洞具有最高的警報相關值。警告相關值是警報和漏洞之間參數的匹配數,警報最后都會被標記了警報相關值。有三種類型的警報相關:理想、部分和非相關。被標記成理想和部分的警報會被傳送到警報融合器中,標記為非相關的警報會被刪除。使得警報融合器只處理真正的威脅警報。為了更好找到警報相關不同等級的閾值,進行了大量不同閾值的實驗。閾值可以根據

11、網絡情況進行調整。
　　警報驗證有6個子驗證器,處理來自于6組不同攻擊的警報。攻擊如DoS、Telnet、FTP、Mysql、Sql和未定義的攻擊組。從而簡化了警報驗證過程,因此改善了警報驗證的質量。
　　警報驗證的質量取決于IDS警報和相應漏洞的信息的各個方面,從IDS警報到他們相應的漏洞。威脅輪廓和IDS產品使用不同的攻擊細節(jié),比如相同攻擊的參考ID。事實上,沒有單獨的攻擊細節(jié)如參考ID能關聯所有類型的攻擊。為了使用綜合

12、EVA數據,我們從IDS產品中關聯了其他的攻擊信息。這些信息補充確定警報相關性,保證EVA數據中攻擊細節(jié)的完整性。同時,它也增加了警報相關值的精確度,提高了驗證過程的速度。
　　為了驗證警報驗證方法,Snort作為具有默認的規(guī)則集的NIDS。一個機器存儲警報和EVA數據。為了生成所需的警報集,實驗使用的攻擊機器執(zhí)行已知的攻擊技術,占用已知的應用、操作系統(tǒng)、端口和協議。攻擊分為5類:DoS、FTP、SOL、MySql和Telnet。

13、生成EVA數據的時間受一些因素影響,如每個主機安裝的應用的個數、掃描器的類型、掃描的主機個數和網絡中使用的掃描器的個數。平均需要2～6分鐘掃描一個主機。建立EVA數據后,正確構建漏洞掃描器,使掃描新漏洞的時間最小。當網絡改變和和刪除廢棄漏洞時,需要進一步調整EVA數據。
　　為了評估框架的有效性,使用三個參數:檢測率、準確度和降低率。此框架在減少非相關警報方面非常有效。準確度達到96.1%,檢測率是92.6%。系統(tǒng)能夠改善Snor

14、t警報的準確度至少達到80%,最少的影響Snort的檢測率。
　　(4)警報分類方法
　　在對警報進行分類之前,我們的方法使用警報歷史保存了最近和頻繁出現的警報,從而幫助處理到達的警報,簡化警報分類任務。在警報分類組件中選擇融合元警報歷史主要因為,IDS可能產生相似模式的警報。相似模式表現為一段時間內頻繁的IP地址、端口和觸發(fā)的簽名。一些警報模式可能頻繁出現并且持續(xù)一段相對長的時間。大量警報的根本生成原因相同,大部分警報由一

15、部分簽名產生。如果一個簽名長時間內觸發(fā)很多警報,那么將來很可能繼續(xù)產生相同特征的類似警報。元警報歷史輔助處理到達的警報,處理邏輯如下:If到達的警報簽名為S,來源于從A到BAND元警報M簽名為S,來源于從A到B ANDM是一個理想的感興趣警報THEN到達的警報是理想的感興趣警報。
　　為了提高子組件的效率和可擴展性,刪除舊的、沒有被關聯的或者一段時間內沒有與警報匹配的元警報。元警報關聯器發(fā)送新的元警報,并且附加到元警報歷史中,如果

16、新的元警報與舊的類似,則取代舊的元警報。
　　警報-元警報歷史關聯器用來檢查預處理后的警報與警報歷史中警報的相似性。它以預處理的警報和元警報歷史最為輸入,輸出此警報是成功警報還是可疑警報。
　　步驟1:比較預處理的警報和元警報的口地址、端口和名稱。
　　步驟2:從元警報歷史中找出潛在的理想感興趣元警報。
　　步驟3:找出最能代表此警報的元警報。警報與每個潛在感興趣警報比較,選擇在IP地址、端口和姓名方面完美匹配的

17、元警報。
　　步驟4:如果步驟3中建立了完美匹配,成功的警告集成父理想感興趣元警報的特性,并且被發(fā)送到警報關聯階段。
　　步驟5:如果步驟3中沒有建立完美匹配,預處理的警報重復步驟2,找到潛在的部分感興趣元警報。繼續(xù)在步驟3中找到與此警報匹配最好的部分感興趣元警報。如果建立了完美的匹配,成功的警報集成父部分感興趣元警報的特性,并且被發(fā)送到警報關聯階段。如果沒有建立完美匹配,可疑警報發(fā)送到Alert-EVA數據驗證器中。

18、>　　警報-EVA數據驗證器通過驗證警報,并使用EVA數據來計算警報標準,從而改善警報質量。使用EVA數據為計算警報標準提供可靠的平臺。警報標準可以在相關性、嚴重性、頻率和警報源可信度方面準確描述警報。此方法不消耗不必要的資源,而且此標準比之前的警報特征有更好的識別能力。
　　計算4種標準:警報相關性、警報嚴重性、警報頻率和警報源可信度。警報相關性指出:關于網絡漏洞生成的警報的重要性。警報和EVA數據具有可比的數據類型,可以衡量兩

19、者的相似性。警報嚴重性指報警的攻擊的嚴重性。驗證器根據優(yōu)先級(嚴重性)比較警報和EVA數據。警報頻率指給定時間內由特定資源或者攻擊觸發(fā)的警報的發(fā)生次數。警報源可信度指組織基于過去性能分配給IDS傳感器的值。這個值反映給定傳感器有效識別攻擊的能力。因此可以用其預測一個傳感器未來的性能。
　　使用模糊邏輯基于警報標準確定不同警報的感興趣點。分類器有6個子分類器,分別處理6中不同的攻擊產生的警報,如DoS、Telnet、FTP、Mysq

20、l、Sql和未分類的攻擊。未分類子分類器處理警報分類組件建立時沒有定義的攻擊。為了設計一個強大的模糊邏輯推理機,定義了兩個模塊,一個用來定義所有輸入輸出參數的成員函數,第二個模塊是設計模糊規(guī)則,產生輸入值的條件語句并且確定對輸出的影響。
　　警報分類的過程如下:
　　步驟1:分類器檢查警報的攻擊識別域確定給定警報分配給哪個子分類器,并且發(fā)送警告給相應的子分類器。
　　步驟2:子分類器將警報放在形式-警報A中(警報相關、

21、警報嚴重性、警報頻率、警報源可信度)。例如輸入值表示如DoS(9,1,3,5),其中DoS代表攻擊所屬的組,9為相關性,1為嚴重性,3為頻率,5為源可信度。
　　步驟3:使用定義的成員函數模糊化輸入的標準,建立成員度。每個輸入標準的成員函數是:相關度-低或者高,嚴重性-低、中或者高,頻率-低或者高,和源可信度-低或者高。
　　步驟4:推理機使用IFTHEN規(guī)則集處理輸入標準。
　　步驟5:所有輸出組合并且在一個單獨的模

22、糊集中,確定警報的感興趣值。模糊集被去模糊化,產生代表警報感興趣度的值。興趣值從0到10.
　　步驟6:子分類器使用感興趣值將警報放在正確的類中。如警報的興趣值為1,則被放在1類中。
　　步驟7:上面類中的警報進一步排序,分成兩個超級類,仍然根據他們的感興趣值。如步驟4中提到的,興趣值是0到10.理想感興趣警報的興趣值至少為7,低于7則為部分感興趣警報。給警報分組的閾值可以根據網絡類型進行調整。
　　步驟8:警報保存在

23、各自的類中,并且發(fā)送給警報關聯組件進一步處理。
　　執(zhí)行實驗顯示,元警報歷史子組件明顯的改善了所提系統(tǒng)的性能。子組件至少降低警報分類組件要處理的警報負載19%。即我們的警報管理系統(tǒng)不需要為元警告歷史能代表的警報計算警報標準和進行分類,從而節(jié)省了資源如內存、CPU和時間。同時,警報分類組件也成功的根據警報標準對警報進行分類。
　　(5)警報融合或警報關聯方法
　　警報關聯和警報融合代表相同的操作:將相關警報進行融合。所提

24、框架的另一個新的特征是警報融合組件。不同類型的入侵都會引起IDS產生大量冗余警報。近年來多階段入侵的增加趨勢,也使得冗余警報大量增加。雖然單階段入侵產生的冗余警報也是足夠多的,如端口掃描。另外一些攻擊可能觸發(fā)了單獨的警報,但是與其他警報之間存在相互的邏輯關系。關聯幫助顯示警報之間的關聯性和邏輯聯系。由于需要對每個冗余的警報進行評估,所以分析者需要花費很長時間才能了解安全事故的整體情況。結果,分析者不僅很難做出正確的決策而且拖延更長時間響

25、應警報。由于單獨警報的分析得到的是攻擊的局部信息,所以揭示攻擊的真正模式效率很低。我們決定降低不必要警告的值和相關警告的緊急度。
　　本文使用警報融合組件降低已驗證警報的冗余性,并且用單獨的綜合警報表示,這個綜合警報就是元警報。此組件融合了單獨的代表攻擊每個階段的冗余警報,幫助從整體上觀察入侵。警報融合器降低了特定時間窗內相同攻擊的冗余警報的數量。警報融合之前將新警報的特性與之前的警報進行比較。
　　警報融合器處理6個不同的

26、攻擊類,即DoS,FTP,Telnet,MySql,SOL和未定義的攻擊。為了提高效率,警報融合器有6個子融合器,分別處理代表6類攻擊的已驗證警報。如:DoS子融合器處理DoS攻擊的所有警報。未定義攻擊子融合器不同于其他5個子融合器,它處理設計時沒有定義的攻擊產生的警報,或者警報驗證中不匹配各種攻擊類的警報。子融合器處理后的警報還需要分析者對其分析,從而更新EVA數據和警報融合器。定義每個元警報M如下:
　　·元警報攻擊類(M.C

27、lass)-警報代表的攻擊的類；
　　·元警報相關(M.Relevance)-警報的相關值；
　　·元警報創(chuàng)建時間(M.createtime)-元警報第一次被創(chuàng)建的時間戳；
　　·警報數量(M.Nbrealerts)-元警報中包含的警報的個數。每次將一個新警報融合到元警報中時,都增加警報數量；
　　·元警報更新時間(M.updatetime)-元警報最后更新的時間,即最近一次警報融合到元警報中的時間；
　　

28、·元警報非更新時間(M.non-updatetime)-自從上次元警報更新到現在的時間,每次新警報融合進入元警報,都將此值設為1；
　　·元警報停止時間(M.stoptime)-元警報完全將警報融合的時間；
　　·元警報超時(M.Timeout)-元警報繼續(xù)等待其他警報的時間,不同攻擊類超時時間不同；
　　·占用周期時間(Ectime)-攻擊發(fā)生的時間,不同攻擊類占用周期時間不同；
　　·額外數據,包括源地址(M

29、.Ipsrc和M.Portsrc)和目的地址(M.Ipdest和M.Portdest)
　　警報融合的過程如下:
　　階段1:警報融合組件根據警報的攻擊識別域確定將此警報發(fā)給哪一個子融合器,并發(fā)送出去。
　　階段2:子融合器使用給定警報的口地址(Alert.Ipsrc和Alert.Ipdest)確定潛在的元警報。
　　階段3:為了找到警報的最匹配的元警報,子融合器比較警報和現有元警報之間的相似性。如下:
　

30、　·IP相似性-比較(Alert.Ipsrc,M.Ipsrc)和(Alert.Ipdest,M.Ipdest),如果IP地址匹配,設Ipsimilarity=1,否則設Ipsimilarity=0；
　　·端口相似性-比較(Alert.Portsrc,M.Portsrc)和(Alert.Portdest,M.Portdest),如果端口匹配,設Port similarity=1,否則設Port similarity=0
　　

31、·時間相似性-如果Alert.Time≥M.createtime且M.non-updatetime＜M.Timeout,那么設Timesimilarity=1,否則設Timesimilarity=0。
　　·關聯相似性-如果Alert.Relevance=M.Relevance,那么設Relevancesimilarity=1(匹配),否則設Relevance similarity=0(不匹配)。
　　階段4:如果找到匹配的

32、元警報,就更新元警報。如:M.Nbrealetys增加。
　　階段5:如果沒有找到給定警報的元警報,就創(chuàng)建一個新的元警報。產生新的元警報的細節(jié)。如M.Nbrealerts設為1,M.updatetime被更新,M.non-updatetime設為0,M.createtime為警報的時間戳,M.Class也被更新。新生成的元警報等待其他相關警報。
　　階段6:如果元警報的非更新時間小于元警報的超時時間,元警報繼續(xù)等待其他相關警

33、報。如果相關警報到達,元警報更新它的內容。
　　階段7:如果元警報的非更新時間等于或者大于元警報的超時時間,元警報的停止時間被更新,并且停止等待其他相關警報。
　　階段8:最后元警報被發(fā)送給分析者,分析者根據已知的信息作出決策。
　　M.Timeout保證必須的警報能夠融合到元警報中。ECtime參數保證特定攻擊的所有元警報都會產生。每個子融合器有自己的M.Timeout和ECtime,給定元警報的M.Timeout可

34、以小于它的ECtime,大部分不同攻擊階段的事件在占用周期早期產生,所以元警報不用等待整個占用周期。單階段攻擊的警報不適于設置很長的M.Timeout,否則元警報會有很長的延遲。另外,也許在所有攻擊階段執(zhí)行結束之前就已經超過了攻擊的ECtime。當然,這也構不成此方法失效,因為元警報收集的信息向攻擊者展示了入侵執(zhí)行的行為,幫助攻擊者預測攻擊接下來的行為。我們的方法使用6個子融合器,每個子融合器處理特定攻擊類,簡化了融合警報的過程。來自于

35、不同類的攻擊被很好的分離,產生更好的結果。使用未定義攻擊子融合器還可以發(fā)現新型攻擊。
　　為了評估框架的有效性,我們使用三個參數:檢測率、準確度和降低率。此框架在減少非相關警報方面非常有效。準確度達到96.1%,檢測率是92.6%。我們的系統(tǒng)能夠改善Snort警報的準確度至少達到80%,最少的影響Snort的檢測率。在降低率方面,所提框架的降低誤報率為78.2%。另外降低冗余警報率為52.4%。所提方法也提供了更好的性能。通過降低

36、已驗證警報的冗余警報,幫助分析者做出正確的決策。而且根據警報的相關性分組,幫助分析者關注最重要的警報。從結構方面考慮,此架構非常高效且容易實現?？梢詰玫狡渌诤灻腎DS中,不需要構建默認簽名。從精確度考慮,此框架具有更高的精確度。
　　綜上昕述,本文的貢獻如下:
　　·構建加強的脆弱性評估(EVA)數據。EVA數據在深層次和動態(tài)威脅輪廓代表了網絡中所有的脆弱點。EVA數據用來評估警報和警報發(fā)生的情況。EVA數據也幫助改

37、善警報的語義從而達到足夠的等級。
　　·與之前的警報特征相比,添加了警報相關性、嚴重性、頻率和源機密性的新標準,從而改善了警報的語義,在評估警報時提供了更好的區(qū)分能力。
　　·維持警報歷史信息,包含最近的和經常出現的元警報。警報歷史輔助處理到達的相關警報,從而提高了處理速度。
　　·警報關聯引擎降低大量已驗證警報中的冗余和孤立警報,冗余警報是由相同入侵的不同階段產生。此引擎幫助分析者快速理解整個安全事故并做出正確的決定