嵌入商業(yè)邏輯-中國科技網(wǎng)

1、網(wǎng)絡(luò)流量監(jiān)測分析及可視化--中國科技網(wǎng)全網(wǎng)網(wǎng)絡(luò)流量分析系統(tǒng)培訓(xùn),中國科技網(wǎng)研發(fā)部 聯(lián)系郵箱 yanfazu@cstnet.cn 韓春靜 chjhan@cstnet.cn,全網(wǎng)流量分析系統(tǒng)簡介與目前使用情況流量分析技術(shù)介紹可視化技術(shù)介紹全網(wǎng)流量分析系統(tǒng)系統(tǒng)使用培訓(xùn),報(bào)告提綱,全網(wǎng)流量分析系統(tǒng)簡介與目前使用情況,各種國際科研研究機(jī)構(gòu)和網(wǎng)絡(luò)機(jī)構(gòu),網(wǎng)絡(luò)帶寬持續(xù)增長的原因?qū)芾碚呶粗蒲袘?yīng)用信息化程度對管理者非常重要

2、利用網(wǎng)絡(luò)進(jìn)行科研數(shù)據(jù)交互的國外科研機(jī)構(gòu)是研究所的重要資源,全網(wǎng)流量分析系統(tǒng)項(xiàng)目背景介紹,網(wǎng)絡(luò)管理者需要獲得使用網(wǎng)絡(luò)的詳細(xì)情況,全網(wǎng)流量分析系統(tǒng)項(xiàng)目背景介紹,,分析網(wǎng)絡(luò)流量,中國科技網(wǎng)全網(wǎng)流量分析系統(tǒng),全網(wǎng)流量分析系統(tǒng)從各個(gè)角度和深度分析科技網(wǎng)流量應(yīng)用組成，用戶使用習(xí)慣，科研流量去向等，為院和研究所信息化領(lǐng)導(dǎo)，科技網(wǎng)中心管理者、研究所網(wǎng)絡(luò)管理者提供信息化管理工具院“十一五”信息化項(xiàng)目中國科技網(wǎng)網(wǎng)絡(luò)中心研發(fā)部自主開發(fā),項(xiàng)目介紹,2

3、008年12月份-2009年2月份，需求調(diào)研2009年3月份-8月份，系統(tǒng)設(shè)計(jì)和開發(fā)2009年8月份-10月份，系統(tǒng)測試2009年10月份-12月份，新增功能設(shè)計(jì)開發(fā)2010年1月份-3月份，系統(tǒng)測試2010年3月份-至今，院內(nèi)研究所開放使用。,全網(wǎng)流量分析系統(tǒng)建設(shè)大事表,目前系統(tǒng)上線運(yùn)行正常，已經(jīng)為全院的研究所開放了賬戶，多個(gè)研究所使用后，評(píng)價(jià)系統(tǒng)功能強(qiáng)大，很方便使用！,多次為院信息化專家組演示系統(tǒng)功能，得到了專家的指導(dǎo)和肯

4、定！,高速鏈路流量實(shí)時(shí)捕獲技術(shù)深度包監(jiān)測技術(shù)海量數(shù)據(jù)高性能處理與存儲(chǔ)技術(shù)創(chuàng)新可視化流量展現(xiàn),全網(wǎng)流量分析系統(tǒng)解決的關(guān)鍵技術(shù),,科研流量協(xié)作分析應(yīng)用分析Top IP地址分析Top IP地址對分析記賬信息主機(jī)活躍度分析分院統(tǒng)計(jì)報(bào)告研究所統(tǒng)計(jì)報(bào)告,全網(wǎng)流量分析系統(tǒng)架構(gòu)設(shè)計(jì),,,DPI設(shè)備,DPI流接收器,流接收器,數(shù)據(jù)庫,WEB Service 中間服務(wù)層,鏈路分析,研究所分析,統(tǒng)計(jì)報(bào)告,網(wǎng)絡(luò)氣象圖,科研流量協(xié)作分析,主機(jī)

5、活躍度分析,網(wǎng)絡(luò)層,處理層,應(yīng)用層,netflow,緩存服務(wù),數(shù)據(jù)處理器,數(shù)據(jù)處理器,研究所管理者,DPI探針通過鏡像方式獲得流量信息，不依賴路由器Netflow的配置，不依賴路由器的硬件基本配置DPI探針可以為軟件或者硬件，根據(jù)網(wǎng)絡(luò)瀏覽級(jí)別大小選擇DPI探針獲得的應(yīng)用流格式不固定，統(tǒng)一的處理程序不適用DPI探針流格式中間增加網(wǎng)絡(luò)應(yīng)用信息字段，應(yīng)用信息通過應(yīng)用分級(jí)獲得不同的應(yīng)用分析效果DPI探針數(shù)據(jù)量大于Netflow，需要在

6、處理時(shí)增加采樣，并采用分布式數(shù)據(jù)庫進(jìn)行數(shù)據(jù)處理和保存,DPI（深度包檢測）探針應(yīng)用于流量分析,與Netflow比較,Netflow海量數(shù)據(jù)采用文件作為臨時(shí)數(shù)據(jù)保持格式，數(shù)據(jù)批量導(dǎo)入數(shù)據(jù)庫增加最近時(shí)間段的的數(shù)據(jù)庫快表，獲得最近5分鐘，一個(gè)小時(shí)，一天，一個(gè)月的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，提高熱點(diǎn)關(guān)注數(shù)據(jù)的查詢效率采用分表的方式，將不同顆粒度數(shù)據(jù)進(jìn)行保存，保證長期數(shù)據(jù)存儲(chǔ)和查詢速度,流量采集和保存關(guān)鍵技術(shù),引入虛鏈路,虛鏈路：虛鏈路相對于交換機(jī)，路由器

7、網(wǎng)絡(luò)中的鏈路，通常，2個(gè)設(shè)備端口形成一條鏈路。虛鏈路指可以將鏈路進(jìn)行相加，形成邏輯意義上的鏈路，即虛鏈路。,China：國內(nèi)所有所有出口線路Foreign：國際所有出口線路Gloriad：Gloriad所有線路All Border：國內(nèi)和國際所有出口線路,流量可視化,,,,,,,交互圖,,,,,,,表,,,,,,文本,可視化成就網(wǎng)絡(luò)發(fā)展,user1 2612597673600 2640897130800 52534948044

8、00 user2 10688049000 8927868600 19615917600 user3 54381476600 49254297300 103635773900 user4 766579973300 861216720300 1627796693600 user5 2947147088800 3381686944000 6328834032800 user6 72153578000 4738141

9、2000 119534990000,,越來越高效洞悉網(wǎng)絡(luò),數(shù)據(jù)可視化（Data Visualization）技術(shù)指的是運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù),將數(shù)據(jù)換為圖形或圖像在屏幕上顯示出來,并進(jìn)行交互處理的理論、方法和技術(shù)。它涉及到計(jì)算機(jī)圖形學(xué)、圖像處理、計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)視覺及人機(jī)交互技術(shù)等多個(gè)領(lǐng)域。流量可視化：即網(wǎng)絡(luò)流量的信息可視化。我們可以通過數(shù)據(jù)可視化技術(shù)，發(fā)現(xiàn)大量IP地址、通信機(jī)構(gòu)和不同應(yīng)用隱含的規(guī)律，從而為決策提供依據(jù)

10、。,流量可視化技術(shù)介紹,Jfreechart，java包，方便使用，對于復(fù)雜的圖形繪制，每個(gè)參數(shù)需要設(shè)置，對使用者要求比較高Flex chart，Adobe自帶包，需要對Flex開發(fā)比較熟悉，包中提供了各種豐富的圖表控件以及靈活的控制參數(shù)，可以制作動(dòng)態(tài)flash報(bào)表Google Map 和Google Earth開發(fā)包，在程序中間可以方便的嵌入開發(fā)包，目前提供了flex，JavaScript，flash等接口包,可視化開發(fā)包,Ope

11、n Flash Chart ：http://teethgrinder.co.uk/open-flash-chart/，完全開源免費(fèi)Fusionchart：http://www.fusioncharts.com/ 非開源，具有免費(fèi)使用版本Anychart：http://www.anychart.com/home/ 非開源，可以下載使用，生成報(bào)表附LogoAmchart： http://www.amcharts.com/

12、 非開源，可以下載使用，生成報(bào)表附Logo,動(dòng)畫報(bào)表工具舉例,交互性強(qiáng)大，信息含量豐富方便使用，配置簡單僅僅需要修改數(shù)據(jù)文件格式和配置模板可以在不同的開發(fā)語言上使用需要對數(shù)據(jù)庫比較熟悉需要對每種工具的配置規(guī)則熟悉沒有可視化的開發(fā)界面，預(yù)覽需要通過調(diào)用程序調(diào)試,動(dòng)畫報(bào)表工具特點(diǎn),WEBFOCUS Information Builders公司Style Report 美國英網(wǎng)軟件公司（InetSoft） 潤乾報(bào)表 潤乾公

13、司,商業(yè)智能報(bào)表工具舉例,開源商業(yè)智能報(bào)表軟件,openI http://openi.sourceforge.net/openi_product.htmljaspersoft http://www.jaspersoft.com/ spagoBIhttp://www.spagoworld.org/xwiki/bin/view/SpagoBI/ pentahohttp://www.pentaho.com/download/,商業(yè)

14、智能報(bào)表軟件特點(diǎn),數(shù)據(jù)訪問: 與數(shù)據(jù)庫連通性，用戶定制數(shù)據(jù)訪問適配器 專業(yè)報(bào)表設(shè)計(jì)強(qiáng)大的所見即所得（WYSIWYG）報(bào)表設(shè)計(jì)工具，擁有像Word一樣簡單的操作過程，以及像HTML一般的精美布局，豐富的展現(xiàn)元素庫 嵌入商業(yè)邏輯支持在報(bào)表、頁面及元素中使用JavaScript腳本，為報(bào)表植入復(fù)雜的商業(yè)邏輯，腳本可控的報(bào)表輸出及報(bào)表打印 交互式報(bào)表視圖提供零客戶端下載的，安全可靠的報(bào)表門戶 ，支持?jǐn)?shù)據(jù)在已生成的報(bào)表內(nèi)進(jìn)行排序、過

15、濾及隱藏 ，支持郵件發(fā)送，服務(wù)器端打印及客戶端打印功能 嵌入機(jī)制與集成 支持Web service和SOAP 架構(gòu) ，可配置的報(bào)表門戶組件，支持通過各種開發(fā)語言API 對數(shù)據(jù)和報(bào)表進(jìn)行操作,全網(wǎng)流量分析系統(tǒng)使用培訓(xùn),科研流量協(xié)作分析應(yīng)用分析Top IP地址分析Top IP地址對分析記賬信息主機(jī)活躍度分析分院統(tǒng)計(jì)報(bào)告研究所統(tǒng)計(jì)報(bào)告,內(nèi)容提綱,在這個(gè)功能模塊中間，系統(tǒng)會(huì)呈現(xiàn)給用戶一個(gè)地理的流量視圖。用戶可以查看本研究所流量

16、與外部機(jī)構(gòu)交互的情況系統(tǒng)界面包括三個(gè)區(qū)域：選擇區(qū)域TopN表格地理視圖,科研流量協(xié)作分析,科研流量協(xié)作分析,選擇虛鏈路,選擇時(shí)間段,大洲選擇,全屏按鈕為了更全面、美觀的查看地圖，提供全屏按鈕,國家/地區(qū)查詢這部分在地圖里點(diǎn)擊任何國家，可以提供具體一個(gè)國家的查詢。在查詢區(qū)域沒有顯示，此功能的查詢。,IP地址對柱圖更直觀的展示外部機(jī)構(gòu)交換流量最大的情況。,科研協(xié)作流量分析-Top N 地址對 柱圖,餅圖中國家/區(qū)域的大小顯示了每

17、個(gè)國家的流量比例，在Top 10的國家以外，還顯示了其他國家/區(qū)域的所有流量，名稱為“其他”,科研協(xié)作流量分析-Top N 國家餅圖,在這個(gè)功能模塊中間，系統(tǒng)提供研究所的分析數(shù)據(jù)和圖表上行：指出研究所（科技網(wǎng)）的流量下行：指入研究所（科技網(wǎng)）的流量,流量分析-研究所分析,菜單選擇：流量分析》研究所分析-》流量趨勢內(nèi)容描述系統(tǒng)提供鏈路流量總體的流量上下行圖表,流量分析-研究所分析-流量趨勢,菜單選擇：流量分析》研究所分析-》應(yīng)用

18、組成內(nèi)容描述系統(tǒng)提供此研究所出口流量在各個(gè)種應(yīng)用分布情況,流量分析-研究所分析-應(yīng)用分析,菜單選擇：流量分析》研究所分析-》TOP IP地址內(nèi)容描述系統(tǒng)提供研究所流量使用最多的IP地址情況，圖表中提供Top 10的IP地址柱圖,流量分析-研究所分析- TOP IP地址,菜單選擇：流量分析》研究所分析-》TOP IP地址對內(nèi)容描述系統(tǒng)提供研究所出口流量中流量使用最多的IP地址對情況，圖表中提供Top 10的IP地址對柱圖

19、,流量分析-研究所分析- TOP IP地址對,菜單選擇：流量分析》記賬信息內(nèi)容描述在這個(gè)功能模塊中間，系統(tǒng)會(huì)提供研究所流量統(tǒng)計(jì)的具體內(nèi)容。研究所可以以此生成每個(gè)IP地址的記賬信息實(shí)時(shí)流量查詢?nèi)樟髁坎樵冊铝髁坎樵?流量分析-記賬信息,菜單選擇：安全監(jiān)測》主機(jī)活躍度內(nèi)容描述系統(tǒng)分析研究所內(nèi)部每個(gè)IP地址對外建立Session的活躍度情況，網(wǎng)絡(luò)管理員可以根據(jù)Session的活躍度來進(jìn)行異常主機(jī)流量的監(jiān)測。主機(jī)活躍度圖分為

20、三個(gè)部分，選擇區(qū)域（上部），時(shí)間列表（中部），活躍度拼圖（下部）,安全監(jiān)測-主機(jī)活躍度,選擇“類型”解釋會(huì)話數(shù)：根據(jù)IP地址在特定時(shí)間和外部IP地址建立的session數(shù)量進(jìn)行匯總PPS：根據(jù)IP地址在特定時(shí)間和外部地址的每秒包（packets）交換數(shù)量匯總BPS：根據(jù)IP地址在特定時(shí)間和外部地址的每秒位（bits）交換數(shù)量匯總,安全監(jiān)測-主機(jī)活躍度,內(nèi)容描述統(tǒng)計(jì)報(bào)告為了向網(wǎng)絡(luò)的管理者和研究所的管理者展現(xiàn)出本單位網(wǎng)絡(luò)應(yīng)用的情況

21、，統(tǒng)計(jì)報(bào)告分為院網(wǎng)報(bào)告，分院報(bào)告和研究所報(bào)告流量應(yīng)用分析報(bào)告每個(gè)月出一份，系統(tǒng)支持報(bào)告以PDF的格式下載,統(tǒng)計(jì)報(bào)告,院網(wǎng)報(bào)告分院報(bào)告研究所報(bào)告,報(bào)告分類,統(tǒng)計(jì)報(bào)告-應(yīng)用名稱分類,報(bào)表橫軸為各種應(yīng)用分類，縱坐標(biāo)為流量值，本圖對每種應(yīng)用在一個(gè)月的流量情況使用柱圖方式顯示出來，每種應(yīng)用一個(gè)柱子，分上行和下行組合，并對流量進(jìn)行排序,統(tǒng)計(jì)報(bào)告,流量趨勢報(bào)表,流量應(yīng)用組成報(bào)表,報(bào)表橫軸為月報(bào)當(dāng)月的日期，縱坐標(biāo)為流量值，不同的顏色表示不同的應(yīng)

22、用。在趨勢圖中，不同的應(yīng)用流量采用疊加的方式進(jìn)行展示，可以從應(yīng)用所占的面積來判斷應(yīng)用的大小,報(bào)表橫軸為研究所內(nèi)部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了流量最多的Top 20月流量情況,統(tǒng)計(jì)報(bào)告,內(nèi)部Top IP地址流量報(bào)表,外部Top IP地址流量報(bào)表,報(bào)表橫軸為研究所外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了與研究所通信的外部地址流量最多的Top 20月流量情況,統(tǒng)計(jì)報(bào)告,內(nèi)部IP地址P2P

23、應(yīng)用流量排名,外部IP地址P2P應(yīng)用流量排名,報(bào)表橫軸為研究所P2P應(yīng)用流量的Top 20的內(nèi)部IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所P2P應(yīng)用流量最多的內(nèi)部Top 20地址的月流量情況,報(bào)表橫軸為研究所P2P應(yīng)用流量中的外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所P2P應(yīng)用流量最多的外部Top 20地址的月流量情況,統(tǒng)計(jì)報(bào)告,外部Web服務(wù)器流量排名,外部FTP服務(wù)器流量排名,報(bào)表橫軸為研究所W

24、eb應(yīng)用流量中的外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所Web應(yīng)用流量最多的外部Top 20地址的流量情況,報(bào)表橫軸為研究所Ftp應(yīng)用流量中的外部Top 20的IP地址，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所Ftp應(yīng)用流量最多的外部Top 20地址的流量情況,報(bào)表橫軸為研究所流量中Top 20的IP地址對，縱坐標(biāo)為流量值，本圖以柱圖方式顯示了研究所流量最多的通信對的流量情況,統(tǒng)計(jì)報(bào)告,IP地址對流量排名