面向用戶請求路徑的分布式系統(tǒng)監(jiān)控關(guān)鍵技術(shù)研究.pdf

1、在現(xiàn)代社會，分布式系統(tǒng)發(fā)揮著越來越重要的作用，推動著各行各業(yè)的快速發(fā)展，極大地便利了人們的日常生活。隨著技術(shù)的發(fā)展和用戶需求的增加，分布式系統(tǒng)呈現(xiàn)出新的發(fā)展趨勢，包括用戶數(shù)量日趨增加、設(shè)施規(guī)模日趨龐大、系統(tǒng)結(jié)構(gòu)日趨復(fù)雜等。這些發(fā)展趨勢為分布式系統(tǒng)的發(fā)展帶來了機(jī)遇，但同時也帶了挑戰(zhàn)，其中重要的一項便是日益增多的系統(tǒng)異常。這些異常嚴(yán)重地影響著系統(tǒng)的可靠性和性能，并可能造成巨大的損失，特別是在安全攸關(guān)的領(lǐng)域，這些異?？赡軒頌?zāi)難性的后果。

2、r>　　作為一種運行時的技術(shù)，系統(tǒng)監(jiān)控對系統(tǒng)運行時信息進(jìn)行收集，據(jù)此檢測和診斷系統(tǒng)運行過程中出現(xiàn)的異常，并對系統(tǒng)進(jìn)行恢復(fù)，從而有效地提高分布式系統(tǒng)的可靠性和性能。在收集的各種類型的數(shù)據(jù)中，用戶請求路徑（簡稱路徑）記錄了用戶請求的執(zhí)行過程及上下文信息，能為異常的檢測和診斷提供更為豐富、更有價值的信息。因此，面向路徑的系統(tǒng)監(jiān)控技術(shù)得到了廣泛的應(yīng)用，成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點。但是，分布式系統(tǒng)呈現(xiàn)出的發(fā)展趨勢為面向路徑的系統(tǒng)監(jiān)控技術(shù)帶來了嚴(yán)

3、峻的挑戰(zhàn)，包括：如何準(zhǔn)確、實時、低開銷地對路徑數(shù)據(jù)進(jìn)行收集并有效地進(jìn)行展示；如何快速、準(zhǔn)確地從海量的路徑數(shù)據(jù)中檢測出系統(tǒng)異常；如何基于路徑數(shù)據(jù)快速、準(zhǔn)確地對系統(tǒng)中的故障進(jìn)行細(xì)粒度地識別和定位等。另外，難以獲取滿足實際需要的路徑數(shù)據(jù)給這些技術(shù)的發(fā)展帶來了阻礙。針對這些問題和挑戰(zhàn)，本文對面向路徑系統(tǒng)監(jiān)控的關(guān)鍵技術(shù)和基礎(chǔ)數(shù)據(jù)展開深入的研究，主要工作和貢獻(xiàn)包括：
　　（1）輕量級的白盒跟蹤方法
　　文章給出了一個輕量級的白盒跟蹤方法

4、MTracer，MTracer能夠準(zhǔn)確、實時地捕獲用戶請求路徑，記錄節(jié)點、構(gòu)件、函數(shù)等不同粒度的執(zhí)行信息?；赪eb的可視化工具M(jìn)Tracer-Viz能夠?qū)κ占穆窂綌?shù)據(jù)進(jìn)行分析，并從不同的角度對信息進(jìn)行展示，以輔助用戶進(jìn)行系統(tǒng)理解和維護(hù)。實驗表明，MTracer給系統(tǒng)帶來的額外開銷處于較低水平，且具有較高的處理速度，能夠有效地對實際系統(tǒng)的行為進(jìn)行跟蹤。另外，MTracer在易用性和通用性方面具有較好的表現(xiàn)。
　　（2）細(xì)粒度、多

5、場景的請求路徑數(shù)據(jù)集
　　文章給出了一個細(xì)粒度、多場景的請求路徑數(shù)據(jù)集TraceBench，TraceBench是第一個以用戶請求為中心的細(xì)粒度開源路徑數(shù)據(jù)集。在數(shù)據(jù)集的收集過程中，通過設(shè)置不同的集群規(guī)模、請求類型、負(fù)載強度、故障種類等構(gòu)建不同的收集場景，使目標(biāo)系統(tǒng)在不同場景中表現(xiàn)出不同的行為特征，從而保證數(shù)據(jù)集可以滿足不同的應(yīng)用需要。實驗表明，TraceBench中的數(shù)據(jù)真實可用，能夠有效地支持異常檢測和診斷等系統(tǒng)監(jiān)控相關(guān)技術(shù)，

6、且適用于一些其它研究，如不變式挖掘等。
　?。?）基于運行時驗證的異常檢測方法
　　文章給出了一個基于運行時驗證的異常檢測方法。該方法利用不同的邏輯語言對系統(tǒng)行為特征進(jìn)行描述，并利用運行時驗證中的相關(guān)技術(shù)將系統(tǒng)特征轉(zhuǎn)換成方法的內(nèi)部表達(dá)，據(jù)此對路徑數(shù)據(jù)進(jìn)行檢查，發(fā)現(xiàn)系統(tǒng)中存在的異常。實驗結(jié)果表明，方法采用的邏輯語言可以準(zhǔn)確靈活地對系統(tǒng)行為特征模型范圍內(nèi)的行為特征進(jìn)行描述；且能夠在特征描述的范圍內(nèi)準(zhǔn)確地檢測出異常路徑，并具有較高

7、的效率，能夠滿足實際需要。
　　（4）基于路徑分割的性能異常診斷方法
　　文章給出了一個基于路徑分割的性能異常診斷方法SegDiag。SegDiag利用自動分割算法對路徑數(shù)據(jù)進(jìn)行分割，達(dá)到降低數(shù)據(jù)維度、增大樣本容量、提高信息利用率等目的，從而提高分析過程的準(zhǔn)確度和效率；SegDiag引入循環(huán)過程并給出合理的循環(huán)終止條件，可以進(jìn)一步提高方法的準(zhǔn)確度；另外，方法還采用了一個綜合投票機(jī)制，可以準(zhǔn)確地對不同粒度的故障進(jìn)行定位，并為用