時間：2023-02-25 13:18:59
序論：速發表網結合其深厚的文秘經驗，特別為您篩選了11篇網絡流量監測范文。如果您需要更多原創資料，歡迎隨時與我們的客服老師聯系，希望您能從中汲取靈感和知識！
中圖分類號:TP
文獻標識碼:A
文章編號:1672-3198(2010)17-0348-01
1 網絡流量的特征
1.1 數據流是雙向的,但通常是非對稱的
互聯網上大部分的應用都是雙向交換數據的,因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異,這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。
1.2 大部分TCP會話是短期的
超過90%的TCP會話交換的數據量小于10K字節,會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節,WWW的巨大增長使其在這方面產生了決定性的影響。1.3 包的到達過程不是泊松過程
大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而,近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布,而且不是獨立分布的。大部分時候是多個包連續到達,即包的到達是有突發性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性,從而促進了網絡通信量模型的研究。
1.4 網絡通信量具有局域性
互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。
2 網絡流量的測量
網絡流量的測量是人們研究互聯網絡的一個工具,通過采集和分析互聯網的數據流,我們可以設計出更加符合實際的網絡設備和更加合理的網絡協議。計算機網絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網絡癱瘓,或者使網絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發現和解決問題?；ヂ摼W流量的測量從不同的方面可以分為:
2.1 基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量,這些設備一般都比較昂貴,而且受網絡接口數量,網絡插件的類型,存儲能力和協議分析能力等諸多因素的限制。基于軟件的測量通常依靠修改工作站的內核中的網絡接口部分,使其具備捕獲網絡數據包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網絡流量分析器。
2.2 主動測量和被動測量
被動測量只是記錄網絡的數據流,不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。
2.3 在線分析和離線分析
有的網絡流量分析器支持實時地收集和分析網絡數據,使用可視化手段在線顯示流量數據和分析結果,大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據,把數據存儲下來,并不對數據進行實時的分析。
2.4 協議級分類
對于不同的協議,例如以太網(Ethernet)、幀中繼(Frame Relay)、異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網絡插件來收集網絡數據,因此也就有了不同的通信量測試方法。
3 網絡流量的監測技術
根據對網絡流量的采集方式可將網絡流量監測技術分為:基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于Netflow的監測技術三種常用技術。
3.1 基于網絡流量全鏡像的監測技術
網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。
3.2 基于Netflow的流量監測技術
Netflow流量信息采集是基于網絡設備提供的Netflow機制實現的網絡流量信息采集。
中圖分類號：TP393 文獻標識碼：A 文章編號：1007-9599 （2012） 17-0000-02
隨著網絡規模的日益擴大和網絡結構的日益復雜，導致計算機網絡管理的難度越來越大，相應的要求也變得越來越高。各種網絡活動都離不開網絡流量，網絡流量作為網絡用戶活動的主要載體，發揮著較為重要的作用。通過監測分析網絡流量，可以完成容量規劃、鏈路狀態監測、異常監測、網絡性能分析等，對于計算機網絡的維護和運行都能夠發揮重要作用。如netcounter是一款簡單易用的網絡流量監控軟件。它可以分別顯示手機網絡和wifi當天、本周、本月和所有時間的流量統計。本文就計算機網絡管理中網絡流量監測進行研究。
1 網絡流量的特征
1.1 大部分TCP會話是短期的。對于TCP會話而言，超過90%的會話時間都不會超過幾秒，交換數據量一般都在5-10K字節，很少有能夠10K字節的。雖然遠程登陸和文件傳輸之類的TCP會話是長期的，但是百分之八十多的WWW文檔傳輸大小都是小于10K字節，而目前這種WWW文檔傳輸大幅度增加，從而導致大部分TCP會話是短期的。
1.2 數據流是雙向的，但通常是非對稱的。對于計算機網絡而言，大部分互聯網應用都不采用單向交換，而是雙向交換數據，所以，網絡流量也自然都是雙向的。但通常這兩個方向的數據率存在很大的差異，主要原因就在于：網站到客戶端的數據量會由于網站下載而比客戶端到網站的數據量多。
1.3 網絡通信量具有局域性。對于網絡流量而言，一般都包括兩種局域性，分別是空間局域性和時間局域性。用戶通過互聯網應用層來對網絡進行訪問，主要是在包的目的地址和時間上進行體現，從而顯示出空間局域性（基于空間相關）和時間局域性（基于時間相關）。
1.4 包的到達過程不是泊松過程。按照傳統的通信網絡設計和排隊理論都假設泊松過程就是包的到達過程，也就是說，包到達的間斷時間的分布是獨立的指數分布。
例如電話、交通事故、地震等事件都是獨立地、按照一定的概率來發生的，這也就是泊松到達過程。但是根據近年來測量互聯網絡通信量的顯示結果表明，泊松過程已經不再是包到達的過程。包的到達具有有突發性，在很多時候都會有多個包連續到達，包到達的間斷時間不是獨立分布的，同時也不服從指數分布。包的到達過程已經不能被泊松過程來精確描述。造成這樣的原因部分在于數據傳輸所使用的協議。這種非泊松結構使得人們在研究網絡的可靠性時不再采用簡單的泊松模型，從而使得網絡通信量模型的研究大大促進。
2 計算機網絡管理中網絡流量監測的方法
在深入了解互聯網通信特性之后，我們在監測網絡流量的時候就可以采取相應的技術措施。從目前的實踐經驗來看，計算機網絡管理中網絡流量監測的方法主要有兩種，分別是被動測量和主動測量。
2.1 主動測量。主動測量的工作原理就是通過測量設備來測量端到端的網絡流量和網絡特征，進而了解被測網絡當前提供數據傳輸的能力和具體的運行狀態。在主動測量網絡流量的過程中，網絡測量系統應當由四個部分構成，分別是分析服務器、中心數據庫、中心服務器、測量節點。
主動測量網絡流量的最大優點就在于三個方面，分別是靈活性、可控性、主動性都較好，而且還能夠直觀地統計端到端的性能。但是主動測量網絡流量的方法也存在著不足之處，那就是實際情況與我們所獲得的結果存在著一定的偏差，主要原因在于主動測量是主動對網絡注入流量。
2.2 被動監測。被動測量其監測原理是通過部署一定的網絡設備和監測點來被動地獲取網絡流量的數據和相關信息，這是一種典型的分布式網絡監測技術。被動監測恰恰彌補了主動監測的缺點和不足，它不會對原有網絡流量進行改變，自然也就不會如主動監測一樣造成這樣大的偏差，實踐也證明了這一點。但是被動監測也存在著自身的不足，主要就是它采集數據和相關信息是從單個點或設備進行的，這種實時采集的方式很有可能會泄露數據，也很難有效分析網絡端對端的性能看，采集信息數據量過大，但是總的來說，被動測量的優點是占主導地位的，所以被動測量比主動測量應用更為廣泛，正在被大量地應用在對網絡流量分布進行分析和測量中。
3 網絡流量監測技術的具體應用
3.1 為網絡出口互聯鏈路的設置提供決策支持。通過有效地分析網絡出口流向和流量，能夠有效地掌握網絡內部用戶對于網絡的訪問情況，從而可以有效的決策，減少互聯鏈路中的浪費現象，有效地節約開支。同時，通過網絡流量監測與分析，能夠為各種網絡優化措施，如路由選擇、重要鏈路帶寬設置、多出口流量負載均衡等提供正確的數據依據。
3.2 網絡流量監測可以對網絡運行商提供大客戶統計分析和重要應用的統計分析。通過對這些流量進行統計分析，可以有效地分析網絡帶寬成本，有助于在網絡成本和網絡服務質量二者之間取得最佳平衡點，既讓大客戶滿意，又能夠讓網絡運行商有較好的盈利。同時，通過監控分析大客戶接入電路上的流量，能夠有效地統計出通信數據量、通信時間、服務等級、業務類型等多個參數，為基于服務等級協議（SLA）和IP的計費應用的校驗服務提供正確的數據依據。
3.3 通過對各個分支網絡出入流量的監控，分析流量的大小、方向及內容組成，了解各分支網絡占用帶寬的情況，從而反映其占用的網絡成本，作出價值評估。
3.4 掌握網絡內部用戶對其他運營商的網絡訪問情況。通過監控網絡內部用戶對其他運營商的網絡訪問情況，可以有效地掌握用戶對于那些網站有興趣，也可以準確地分析網絡內部用戶訪問外網主要流量方向及業務特點，根據分析結果來有的放矢，找到廣大網絡用戶感興趣的熱點信息，然后對自己的網絡內容進行相應的補充和建設，減輕用戶流失。同時，長期監控一些特定網絡流量，有助于網絡流量模型被網絡管理人員所了解、所掌握，網絡管理人員可以通過所掌握的基準數據來對網絡使用狀況進行正確的分析，在網絡安全存在隱患的時候就能夠及時異常警訊，采取相應的防御措施，從而使得整個網絡的整體效能和整體質量都得到大幅度的提升。
4 結語
中圖分類號：TN914 文獻標識碼：A 文章編號：1007-9416(2012)07-0026-02
P2P技術利用客戶端的處理能力，實現了點到點的通信，可最大限度的共享P2P網絡中的軟硬件資源，極大的提高了用戶獲取網絡資源的效率。然而，P2P技術和應用的無序性，對網絡帶寬占用的無度性，又缺乏有效監管與控制，使網絡關鍵鏈路常處于擁塞狀態，導致Web瀏覽、Email等基本網絡業務，以及有關工作流程的關鍵網絡業務無法正常使用。尤其是校園網用戶多、應用廣、學生用戶思想活躍喜歡嘗試各種P2P應用，即使不斷增加出口帶寬，升級設備，也無法應對P2P對帶寬無休止的搶占。如何實現對P2P網絡流量的有效監測與控制，保障校園網有限帶寬合理使用，已成為校園網管理中必須要解決的問題。
1、P2P網絡流量對校園網的影響
鑒于P2P技術自身“非中心化”、高速、海量、擴展性強、穿透性強、上下行流量對稱等特性，P2P技術已應用到資源共享、文件下載、對等計算、即時通訊、流媒體、搜索引擎等方方面面。如能科學合理的運用P2P技術，必將為廣大師生的學習、生活和工作提供更豐富的信息化手段。如對P2P技術不能進行有效的監測與控制，也正是由于P2P技術同樣的特性，必將對校園網有限的帶寬造成巨大的消耗，帶來一系列負面的影響。
1.1 吞噬網絡帶寬
如圖1所示為學院校園網在實施P2P網絡流量控制前，其中70%的校園網網絡帶寬被P2P下裁、NetTV、Stream等P2P應用所吐噬，再加上網絡蠕蟲、病毒泛濫，Http、Emil以及有關工作流程的業務應用能正常使用的帶寬就所剩無幾了，造成網絡運行速度變慢或時斷時續，同時，網絡帶寬不足反過來也會影響P2P應用。
1.2 阻礙網站訪問
因為P2P應用具上下行流量對稱的特性，必將占用大量校園網上行流量，從而影響校園網對外服務，造成校外用戶瀏覽學院網站變慢，或根本打不開，校內電子郵箱收不到校外郵件，進而影響學校對外宣傳和交流。
1.3 增加安全隱患
P2P網絡各節點可直接訪問，資源共享，并且P2P應用還可穿透防火墻。從而更容易造成蠕蟲、病毒相互傳染、快速傳播。P2P應用給用戶帶來更多的安全隱患。
2、P2P網絡流量監測技術
2.1 關鍵節點監測
基于關鍵節點的P2P監測是一種傳統報文監測手段。P2P網絡中的關鍵節點就是在維護P2P網絡健壯性、擴展性和連通性等方面具有重要作用的節點[2]。
由于所有的P2P用戶都存在與關鍵節點的交互，因此監測關鍵節點，就能對該P2P應用進行監測。早期P2P網絡中的關鍵節點相對固定和集中，但越來越多的P2P應用“泛化”關鍵節點，使得基于關鍵節點的監測方法越來越難以實現。
2.2 端口監測
基于協議端口的P2P監測也是一種傳統報文監測手段。早期的P2P應用大多采用缺省協議端口實現P2P節點之間的通信。基于缺省協議端口就可監測到P2P應用中所有用戶和節點之間交互過程。這種監測方式利用現有網絡條件就可實現，不需要增加什么投資成本，對早期P2P應用的監控較為有效。
但是，越來越多的P2P應用采用隨機生成端口號，或手工設定端口號，或自動改變端口號的方法，基于協議端口的P2P監測就無法實現了。
2.3 DPI技術監測
深度報文檢測（Deep Packet Inspection,DPI）技術是相對于傳統報文檢測技術而提出的一種典型應用檢測技術。DPI技術目前并沒有一個較明確的定義，但普遍認為， DPI除了具備對報文頭部信息、源/目的IP地址、源/目的協議端口和協議類型等進行監測分析等普通報文監測分析能力外，還可結合報文凈荷（payload）及報文之間的關聯性等因素進行監測，實現報文的“深度”識別[2]。
2.4 DFI技術監測
深度流行為檢測（Deep Flow Inspection,DFI）技術也是一種典型應用檢測技術。DFI主要是通過對網絡流量狀態、持續時間、流量速率、字節長度等參數分析統計來監測P2P應用類型和狀態的。相對DPI技術，DFI可監測到未知的P2P流量，但監測精度沒DPI高，容易出現誤判。所以，DFI適合快速監測，DPI適合精確監測，各有千秋，在高端流量控制設備中一般都集成DFI和DPI兩種監測技術，取長補短。
3、P2P網絡流量監測控制實現
3.1 實現方式
全球規模最大的寬帶互聯網就是China Net，擁有超過40Tbit/s的骨干網流量，互聯網每年都以60%速度增長，越來越重視互聯網安全問題，逐漸凸顯惡意流量網絡安全問題，2013年，持續增加移動互聯網惡意程序，傳播惡意程序的互聯網已經達到1296萬次，互聯網環境逐漸惡化，不完善的審核機制和能力差的檢測技術，使惡意程序擴散，導致污染移動互聯網上游環節，加速惡意程序發展速度，為了有效解決上述問題，本文主要分析了網絡惡意流量檢測技術。
1互聯網惡意流量安全檢測技術研究
1.1高效“僵木蠕”流量高速識別技術
1.1.1提取文件特征
分析的基本案例就是Android程序，一般來說，會對Android程序內部權限構成文件的特征向量進行提取，如，應用Android程序權限的時候，主要就是依據Android程序提出了134個劃分權限列表特征，例如，讀取手機短信、手機狀態、讀取通訊錄、讀取地理位置、讀取通話記錄、攔截普通短信、發送短信、修改系統設置、訪問網絡、結束后臺程序、獲得IMEI密碼等。
1.1.2構造特征向量空間
構造特征向量空間的時候，可以把特征提出的Android程序描述串合理變為{0，1）取值向量。計算特征向量的時候，因為會占據很大空間，主要應用的形式是索引向量，如，依據特征索引方式來合理提取高危權限網絡惡意程序特征。假設已知樣本A，B以及病毒X提出特征數據結果分別是文件帶有病毒X的提出特征描述串：
{READ_SMS，ACCESS_NETWORK_STATE，READ_CONTACTS，CALL_PHONE，WRITE_SMS）：
提出B文件樣本特征描述串：
{WRITE_EXTERNAL_STORAGE，READ_MSM，ACCESS_NETWORK_STATE，READ_CONTACTS，CALL_PHONE，WRITE_SMS）；
提出A文件樣本特征描述串：
{READ_PHONE_STATE，SEND_SMS，WRITE_EXTERNAL_STORAGE，READ_MSM，，WRITE_SMS）。病毒X和樣本A，B向量基本形式為X00011111，B00111111，A11110001。病毒X以及樣本A，B索引基本形式是X{3，4，5，6，7}，B{2，3，4，5，6，7），A{0，1，2，3，7}。
1.1.3快速聚類分析
最鄰近樣本特征向量以及每個樣本特征向量之間具備比較大概率的同類文件，所以，需要在已知聚類樣本中對新增樣本鄰近查詢，合理計算最近鄰近樣本和新增樣本之間距離，如果具備超過定閥值的最短距離會在鄰近聚類中歸納新增樣本，反之就建立新聚類。構造特征向量空間的時候，一般都是對原始向量取值為{0，1），所以，建立快速聚類分析的時候主要應用臭氧散列函數，是隨機選擇的一組D維向量特征中K維自向量，依據實際索引情況進行適當索引，原始向量對應的結果中適當選取0或1，形成子向量。每次計算一種隨機向量結果的時候，就會出現與之對應的子向量K，如果具備相同的2個向量結果，屬于同一聚類。依據上述實際情況對病毒X和樣本A，B隨機選擇L為4的索引作為子向量，索引{4，5，7，8}，可以得到向量子集X是1111，向量子集B是1111，向量子集A是1001，可以發現X的最鄰近是B，而不是A。因此，不再檢測正常A文件，二次確認檢查疑似惡意程序的B樣本。
1.2自適應動態沙箱智能研判技術
國內外運行商首先提出處理網絡疑似病毒的模型基于平行沙箱的智能研判模型，可以在一定程度上安全檢測流量環境中的程序應用情況?；诖四Ｐ?，建立了自然對數危險函數序列的深度等級量化智能研判技術，也就是說可以對安全等級進行判斷，智能化分析未知惡意程序，計算未知惡意程序等級基本公式為：
K=Roundl{In[d×eα+w×eβ+j×eγ+a×eδ+m×eε]）
其中，α是多維度特征運算掃描結果，γ是自適應動態沙箱運算結果；β是掃描未知病毒結果，ε是掃描敏感字結果，δ是動態沙箱Android運算結果。上述值都屬于[0，10]，四舍五入處理是Round{），保留1位小數。特征庫映射以及計算惡意程危險函數序列之間關系如表1所示。
2互聯網惡意流量安全檢測技術應用
2.1系統設計架構
網絡惡意流量檢測系統包括集中管理模塊、惡意程序處置模塊、惡意程序分析模塊、流量采集模塊。設計系統結構的基本理念就是依據監測惡意程序引擎的方式來適當監測網絡惡意流量，并以智能方式多重過濾和研究檢測引擎依據上報惡意未知程序，健全網絡流量惡意程序特征庫，依據特征庫實際情況建立惡意程序處理模塊，CE路由器網絡需要主動攔截以及預防惡意程序，系統可以研制和捕獲典型網絡惡意程序，統一和管理封堵，集中角度封堵資源等。設計此系統的時候，采集原始流量利用PI口，訪問鏡像用戶互聯網和流量數據的還原文件、重組報文等，檢測惡意程序的時候合理應用惡意程序搜索引擎，對集中管理模塊提供檢測結果，系統核心就是集中管理模塊，可以達到運行管理、惡意URL管理、警告管理、報表展示、管理特征庫等功能，并且對處置模塊輸送合理的封堵策略。
2.2流量采集模塊
流量采集模塊根本作用就是可以收集網絡中類似惡意程序的軟件樣本、傳播地址源、行為特征以及受害用戶信息，可以分析惡意軟件。流量采集模塊可以存在多種實現形式，包括檢測業務平臺異動方式、檢測蜜罐被動方式、光路器選擇方式、鏡像方式、分光方式等。
2.3惡意程序分析模塊
惡意程序分析模塊應用根本作用實際上就是可以對鏡像用戶網絡流量進行流量分析，獲得RADIUS流量數據以及訪問網絡數據，合理連接集中管理模塊，可以對結果進行上報，并且集中分配管理配置策略。
2.4惡意程序處置模塊
惡意程序處置模塊根本作用就是能夠達到處置惡意程序的目的，依據查殺惡意執行程序的軟件、阻斷網絡惡意軟件傳播源等方式阻斷網絡惡意傳播行為和上下行流量網絡惡意程序。處置惡意程序的時候需要單獨應用物理接口，可以對管理信息進行傳遞。
2.5集中管理模塊
【 中圖分類號 】 TP309.05 【 文獻標識碼 】 A
1 引言
IP網絡具有體系架構開放、信息共享靈活等優點，但是因其系統開放也極易遭受各種網絡攻擊的入侵。網絡異常流量檢測屬于入侵檢測方法的一種，它通過統計發現網絡流量偏離正常行為的情形，及時檢測發現網絡中出現的攻擊行為，為網絡安全防護提供保障。在網絡異常流量檢測方法中，基于統計分析的檢測方法通過分析網絡參數生成網絡正常行為輪廓，然后度量比較網絡當前主體行為與正常行為輪廓的偏離程度，根據決策規則判定網絡中是否存在異常流量，具有統計合理全面、檢測準確率高等優點?；谙鄬氐漠惓z測方法屬于非參數統計分析方法，在檢測過程中無須數據源的先驗知識，可對樣本分布特征進行假設檢驗，可在缺乏歷史流量數據的情況下實現對網絡異常行為的檢測與發現。本文系統研究了模糊相對熵理論在網絡異常流量檢測中的應用，并搭建模擬實驗環境對基于模糊相對熵的網絡異常流量檢測方法進行了測試驗證。
2 基于模糊相對熵的多測度網絡異常流量檢測方法
2.1 模糊相對熵的概念
相對熵（Relative Entropy）又稱為K-L距離（Kullback-Leibler divergence），常被用作網絡異常流量的檢測方法。本文引入模糊相對熵的概念，假定可用來度量兩個概率分布P={p1，p2，...，...，pn}和Q={q1，q2，...，...，qn}的差別，其中，P、Q是描述同一隨機過程的兩個過程分布，P、Q的模糊相對熵定義為：
S（P，Q）=[Pi ln+（1-pi）ln] （1）
上式中qi可以接近0或1，這會造成部分分式分母為零，因此對（1）式重新定義：
S'（P，Q）=[Pi ln+（1-pi）ln]（2）
模糊相對熵為兩種模糊概率分布的偏差提供判斷依據，值越小說明越一致，反之亦然。
2.2 多測度網絡異常流量檢測方法流程
基于模糊相對熵理論的多測度網絡異常檢測具體實施分為系統訓練和實際檢測兩個階段。系統訓練階段通過樣本數據或監測網絡正常狀態流量獲取測度的經驗分布，實際檢測階段將實測數據獲取的測度分布與正常測度分布計算模糊相對熵，并計算多個測度的加權模糊相對熵，根據閾值判定網絡異常情況，方法流程如下：
Step1：獲取網絡特征正常流量的參數分布。通過樣本數據或監測網絡正常狀態流量獲取各測度的經驗分布。
Step2：獲取網絡特征異常常流量的參數分布。對選取網絡特征參數異常流量進行檢測獲取各種測度的概率分布。
Step3：依據公式（2）計算單測度正常流量和異常流量間模糊相對熵Si。
Step4：計算多測度加權模糊相對熵S。
S=α1S1+α2S2+…+αkSk （3）
式中αk表示第k個測度的權重系數，由測評數據集統計分析獲得。
最終，根據S建立不同的等級閾值來表征網絡異常情況。S越大，表示網絡流量特征參數分布偏離正常狀態越多，網絡中出現異常流量的概率越大；S越小，表示網絡流量特征參數分布與正常狀態吻合度越好，網絡中出現異常流量的概率越小。
3 測試驗證
為測試方法的有效性，搭建如圖1所示的實驗環境，模擬接入層網絡拓撲結構、流量類型和流量負載情況。測試環境流量按業務域類型分類，主要分為視頻、語音、數據三種業務域，按每個業務單路帶寬需求計算，總帶寬需求約為2368kbps～3200kbps。
（1）檢測系統接入交換機鏡像端口，系統部署環境。
①硬件環境：Intel（R） Core（TM） 2 Duo CPU 2.00GHz，2.0G內存；②操作系統環境：Windows XP，.NET Framework 3.5；③數據庫系統：Microsoft SQL Server 2005 9.00.1399.06 （Build 2600： Service Pack 3）。
測試環境交換機采用華為S3050C，用戶主機接入點配置如表1所示。
測試網絡正常流量狀態方案配置。
①1號主機架設視頻服務器模擬視頻業務域，單路平均帶寬需求2.59Mbps；②2、3號主機架設音頻服務器模擬語音業務域，單路平均帶寬需求128kbps；③4、5、6號主機采用應用層專用協議和傳輸UDP協議模擬發包程序模擬數據業務域，單路平均帶寬需求64kbps。
按上述方案配置網絡環境，交換機網絡流量負載約為2.996Mbps。
3.1 測試用例設計
網絡中的異常行為主要包括非法網絡接入、合法用戶的違規通信行為、網絡攻擊及未知的異常流量類型等，系統將其定義為四類：帶寬占用、非法IP地址、非法IP會話、模糊相對熵異常四類異常事件，其中模糊相對熵異?？筛鶕涷灁祿O定多個閾值等級。測試用例以網絡正常流量為背景流量，根據測試目的添加異常流量事件。測試用例設計及實驗測試過程如表2所示。
3.2 結果分析
測試用例持續監測網絡兩小時。根據模糊相對熵數據輸出，繪制ROC曲線，檢測率與誤警率的關系如圖2所示。通過ROC曲線，能夠準確反映模糊相對熵異常流量檢測方法檢測率與誤警率的關系。權衡檢測率與誤警率，選擇合適的閾值。當模糊相對熵閾值設定為39.6時，系統檢測率為84.36%，誤警率為3.86%，表明檢測系統對未知異常流量具有較好的檢測效果。
4 結束語
基于模糊相對熵的網絡異常流量檢測方法可以在不具備網絡歷史流量信息的情況下，通過對網絡流量特征進行假設檢驗，實現對網絡異常行為的檢測發現。實驗測試結果表明，設定合理的模糊相對熵閾值，該方法的檢測率可達84.36%。在下一步的工作中，將研究自學習式閾值設定方法，以及對模糊相對熵方法進一步優化，提升方法的準確性和效率。
參考文獻
[1] 蔣建春，馮登國等.網絡入侵檢測原理與技術[M].北京： 國防工業出版社，2001.
[2] 蔡明，嵇海進.基于ISP網絡的DDoS攻擊防御方法研究[J].計算機工程與設計，2008， 29（7）：1644-1646.
[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http：//unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.，2011-05-16.
[4] 張亞玲，韓照國，任姣霞.基于相對熵理論的多測度網絡異常檢測方法[J].計算機應用，2010， 30（7）：1771-1774.
[5] 李涵秋，馬艷，雷磊.基于相對熵理論的網絡Dos攻擊檢測方法[J].電訊技術， 2011， 51（3）：89-92.
[6] 張登銀，廖建飛.基于相對熵理論網絡流量異常檢測方法[J].南京郵電大學學報（自然科學版），2012， 32（5）：26-31.
[7] 胡為，胡靜濤.加權模糊相對熵在電機轉子故障模糊識別中的應用[J].信息與控制，2009， 38（3）：326-331.
作者簡介：
中圖分類號： TN915.07?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）07?0085?03
Network traffic anomaly detection based on time series analysis
LI Yan
（School of Information and Engineering， Jingdezhen Ceramic Institute， Jingdezhen 333403， China）
Abstract： A network traffic anomaly detection model based on time series analysis is proposed to detect the network traffic anomaly accurately and ensure the network normal operation. The wavelet analysis is used to decompose the network traffic according to the similarity of the network traffic data， so as to divide it into the components with smaller scale. And then the gray model and Markov model of the time series analysis method are used to perform the network traffic anomaly detection for the high?frequency component and low frequency component respectively， their results are fused with the wavelet analysis， and analyzed with the simulation experiment of the network traffic anomaly. The results show that the time series analysis model has simple working process， increased the detection rate of the network traffic anomaly， its false alarm rate is lower than that of other network traffic anomaly detection models， and can obtain better real?time performance of the network traffic anomaly detection.
Keywords： network system； traffic anomaly detection； gray model； wavelet analysis
0 引 言
隨著計算機技術的不斷發展和成熟，網絡上的業務種類越來越多，如視頻，圖像等，網絡成為了一種主要的通信載體[1]。由于數據的龐大性，對網絡帶寬和通信質量要求更高，網絡受到木馬、蠕蟲、病毒等影響，網絡安全問題越來越嚴重。當網絡中出現不安全因素時，網絡流量會發生相應的變化，出現異?，F象，因此如何對網絡流量異常進行準確檢測，并做出相應的應對措施，對保證網絡正常運行具有重要意義[2?3]。
最原始的網絡流量異常檢測是通過對網絡數據進行分析，將網絡流量特征分為基本特征和組合特征，基本特征主要指網絡流量大小，數據包長度等；組合特征主要指平均包長、SYN包的個數，通常情況下，對網絡流量基本特征進行訓練，建立網絡流量異常檢測模型，將數據劃分為正?；蛘弋惓＃詰獙W絡上的各種攻擊行為，該方法對小規模、簡單網絡流量異常檢測效果好[4?5]。隨著網絡規模的增大，網絡結構更加復雜，網絡不安全概率增加，網絡流量異常發生頻繁，原始網絡流量異常檢測技術不能適應現代網絡發展的要求[6]。為了適應現代網絡發展的要求，克服原始檢測技術的不足，近些年有學者提出基于現代統計學理論的網絡流量異常檢測模型[7]，如采用信號處理與統計學理論相結合的異常行為檢測[8]，有學者提出基于數據挖掘技術的網絡流量異常檢測模型，從網絡流量數據中發現異常行為[9]。并出現基于BP神經網絡的網絡流量異常檢測模型，獲得了較好的檢測結果[10]。
為了準確檢測出網絡流量中的異常現象，提出基于時間序列分析的網絡流量異常檢測模型。首先采用小波分析[11]將網絡流量劃分為更小尺度的分量，然后采用灰色模型和自回歸模型分別對高頻分量和低頻分量進行網絡流量異常檢測，并采用小波分析對它們的檢測結果進行融合，最后仿真實驗的結果表明，本文模型是一種網絡流量異常檢測率高的模型，具有較高的實際應用價值。
1 時間序列分析方法
1.1 灰色模型
灰色模型是一種經典的時間序列分析方法，它將所要解決的問題當作一個黑箱，根據灰色理論進行建模，具體為：
（1） 收集網絡流量異常檢測的原始數據，它們組合在一起形成一個序列：
[X（0）=x（0）（1），x（0）（2），…，x（0）（n）]
（2） 為了發現原始數據中隱藏的變化特點，對它們進行累加操作，得到：[X（1）=x（1）（1），x（1）（2），…，x（1）（n）]，且有[X（1）（t）=][k=1tx（0）（k）]。
（3） 建立網絡流量異常檢測的矩陣[B]與向量[Yn，]即有：
[B=-x（0）（2）+x（0）（1）21 -x（0）（3）+x（0）（2）21 ? ? -x（0）（n）+x（0）（n-1）2 1 ] [Yn=x（0）（2），x（0）（3），…，x（0）（n）]
（4） 根據最小二乘算法對系數[a]進行計算，設白化方程為：[dx（1）dk+ax（1）=b]，參數向量可以表示為：[a=ab]，那么系數[a]的解為：[a=BTB-1BT?Yn]。
（5） 網絡流量異常檢測的響應函數為：
[x（1）（k+1）=x（0）（1）-ba?e-ak+ba] （1）
（6） 對[x（1）（k+1）]進行“累減”逆運算得到：
[x（0）（k+1）=x（1）（k+1）-x（1）（k）] （2）
1.2 馬爾科夫模型
設[t=k]時刻的狀態為[x（k），]那下一時刻的狀態為：
[x（k+1）=x（k）?R（1）] （3）
式中[R（1）]為轉移概率矩陣。
馬爾科夫模型的工作過程為：
（1） 根據灰色模型可以得到網絡流量的估計值為：
[x（0）（k+1）=x（1）（k+1）-x（1）（k）] （4）
（2） 對于期望值和估計值之間的相似性，將它們的比值[f]劃分一些狀態區間，即有：
[f=x（0）（k）x（0）（k）] （5）
[Fi=Fi1，Fi2， i=1，2，…，M] （6）
式中：[Fi1]和[Fi2]分別表示狀態區間[i]內的最小值和最大值。
（3） 根據式（6）計算下一個狀態的轉移概率。
[pij（k）=nij（k）ni（k）] （7）
式中：[nij（k）]為狀態[i]到[j]的次數；[ni（k）]表示狀態轉移的總次數。
（4） [S]是[f]的全部狀態集合，若[S]的條件概率[pij（k）]與時刻[k]不相關，則表示該馬爾科夫鏈為齊次的，齊次的[n]步轉移概率矩陣[R（n）]的計算公式為：[R（n）=pn00 pn01…pn0lpn10 pn11…pn1l ????pnl0 pnl1…pnll] （8）
（5） 計算實測值與估計值的偏差[εi=xi-xi，]采用平均偏差[ε=1ni=1nε（i）]對結果進行修正。
（6） 后驗差比值[C]和小誤差概率[P]的計算公式為：
[C=S1S0] （9）
[P=ε（i）-εx（0）1
式中：[S0=i=1nx（0）（i）-x（0）2n；][ S1=i=1nε（i）-ε2n。]
2 基于時間序列分析的網絡流量異常
2.1 小波分析
網絡流量的數據為[X（t），][t=0，1，2，…，N-1，]對其進行小波分解，得到高頻分量為：
[cj+1（t）=l=-∞+∞h（l）cj（t+2jl）] （11）
式中[h]表示低通濾波器。
網絡流量的低頻分量[dj]為：
[dj+1（l）=cj（t）-cj+1（t）] （12）
網絡流量的[L]尺度小波分析結果為：
[D={d1，d2，…，dL，cL}] （13）
對低頻分量和高頻分量的重構結果為：
[X（t）=c0（t）=cL（t）+j=1Ldj（t）] （14）
2.2 時間序列分析的網絡流量異常檢測步驟
（1） 收集網絡流量異常檢測的歷史數據，并剔除一些無用數據。
（2） 采用小波分析對網絡流量異常數據進行分解。
（3） 采用灰色模型和馬爾可夫模型對高頻和低頻分量進行建模。
（4） 采用小波重構對灰色模型和馬爾可夫模型的結果進行融合，得到網絡流量異常的檢測結果。
本文模型的工作流程如圖1所示。
3 結果與分析
收集大量網絡流量數據如圖2所示，為了加快網絡流量異常檢測的速度，對原始數據歸一化處理，即：
[x（i）=x（i）-Exσx] （15）
式中：[Ex]和[σx]分別為均值和標準差。
采用小波分析對圖2的數據進行多尺度分解，得到低頻分量和和高頻分量如圖3所示，并采用灰色模型和馬爾可夫模型對高頻和低頻分量進行建模，得到相應的檢測值。
采用小波重構對灰色模型和馬爾可夫模型的結果進行融合，得到網絡流量異常的檢測結果如圖4所示。
榱私一步評價本文模型的網絡異常流量檢測結果的優越性，選擇與當前經典網絡異常流量檢測模型[9?10]進行對比實驗，統計它們的檢測率和誤檢率，具體見表1。從表1可知，本文模型提高了網絡流量異常檢測率，誤檢率小于對比模型，能夠更好地保證網絡安全，具有顯著的優越性。
4 結 語
網絡流量異常檢測一直是通信領域研究的熱點，針對當前網絡流量異常檢測的局限性，提出基于時間序列分析的網絡流量異常檢測模型。通過仿真實驗可知，通過小波分析對網絡流量數據進行預處理，從中發現變化規律，有利于后續的網絡流量異常檢測建模，采用灰色模型和馬爾可夫模型對網絡流量異常行為進行檢測，獲得較優的網絡流量異常檢測結果，而且檢測結果要明顯于其他模型，在網絡安全領域具有廣泛的應用前景。
參考文獻
[1] KIM S S， REDDY A L N， VANNUCCI M. Detecting traffic anomalies through aggregate analysis of packet header data [C]// Proceedings of 2004 International Conference on Research on Networking. Berlin： Springer， 2004： 1047?1059.
[2] 孫知信，唐益慰，程媛.基于改進CUSUM算法的路由器異常流量檢測[J].軟件學報，2005，16（12）：2117?2123.
[3] 鄧緋.基于瞬時頻率快速算法的網絡流量異常檢測[J].科技通報，2013，29（7）：170?173.
[4] 鄭黎明，鄒鵬，賈焰，等.網絡流量異常檢測中分類器的提取與訓練方法研究[J].計算機學報，2012，35（4）：719?729.
[5] 王欣，方濱興.Hurst參數變化在網絡流量異常檢測中的應用[J].哈爾濱工業大學學報，2005，37（8）：1046?1049.
[6] 溫祥西，孟相如，馬志強，等.基于局部投影降噪和FSVDD的網絡流量異常檢測[J].計算機應用研究，2013，30（5）：1523?1526.
[7] 曹敏，程東年，張建輝，等.基于自適應閃值的網絡流量異常檢測算法[J].計算機工程，2009，35（19）：164?166.
[8] 鄒柏賢.一種網絡異常實時檢測方法[J].計算機學報，2003，26（8）：940?947.
[9] 顏若愚，鄭慶華，牛國林.自適應濾波實時網絡流量異常檢測方法[J].西安交通大學學報，2009，43（2）：1?5.
中圖分類號：TP393文獻標識碼：A 文章編號：1009-3044(2008)30-0576-02
Abnormal Network Traffic Detection based on Identification Mark of IP Packet
ZHOU Ming1, XU Yan2
(1.Anhui Electric Power, Hefei 230061, China ; 2.Mechanical & Electrical Department, Suzhou Institute of Trade & Commerce, Suzhou 215031, China)
Abstract: A new method of abnormal network traffic based on the distribution of IP packets' Identification is proposed in this paper because many of abnormal network traffics are generated by special mechanisms, which are different from the ordinary traffics created on the basic network protocols. The correctness of this method is proved by the results of IP packets detect with different time on CERNET.
Key words: identification mark; binomial distribution; abnormal traffic detection
1 引言
隨著Internet的發展，網絡流量急劇增長，由于網絡的發展具有一定的規律性，可以通過對網絡協議的分析和網絡流量的預測定義網絡流量的正常行為，當觀測所得的流量行為偏離正常時，對網絡流量的進一步分析可能發現異常的原因。目前基于網絡主干和邊界的異常流量檢測研究主要集中在流矩陣，報文分析等方面，但由于基于網絡的探測，入侵和攻擊行為也變得越來越普遍和復雜，這些方法在測量規模和粒度上不能達到很好平衡。本文提出了一種基于IP報文Identification標識字段分布的異常流量識別方法，可以以較小的代價有效地識別網絡中的
流量異常，適用于主干網絡和邊界網絡，并通過實驗驗證了其可行性。
2 問題提出
目前Internet絕大部分使用TCP/IP協議簇進行網絡傳輸，而IP協議是其中最重要也是最基本的協議。位于應用層的協議通過將服務內容切割成分片（fragment）的形式傳遞給TCP層協議，在TCP層加上相應的頭部信息又傳遞給IP層。由于在接受端需要對分片進行重組獲得完整的服務內容，而網絡的延時、擁塞和報文本身的傳輸方式都可能導致分片的亂序，所以需要對IP報文進行標識。在IP協議[1]中Identification字段用于標識該報文而區別于來自相同源宿地址對使用同一個協議的其他報文。由于該字段被定義為16bit長，也就是說它所能表示最大數目為216即65536。為保證服務的正常，網絡中必須確保來自同一IP地址使用相同協議的報文應當有其唯一的Identification標識（該標識值位于0-65535之間）。
在文獻[1]中并沒有給出Identification標識的具體取值方式，但由于規定了其取值范圍，采用不同取值方式的主機所選取的初始Identification應當是一個位于0-65535之間的隨機數且取值相互獨立，而大部分服務被分解為若干個IP報文進行傳送，在每個主機中都維護一個計數器（Counter），每發送一個IP報文該計數器加1?？梢宰龀鲆韵录僭O：
假設1 在較大規模網絡中，從宏觀的角度分析Identification標識的取值是近似均勻分布的。
經過大量實驗證明，在絕大多數情況下，Identification標識是近似均勻分布的，有關實驗的驗證將在下節中具體介紹。在假設1的基礎上，根據Identification標識的選取方式可以做出相關結論如下：
引理1 在較大規模的網絡中用于正常服務的IP報文的Identification標識是近似服從參數為n，p的二項分布，其中n為65536，p為0.5。
證明：由于每個源主機所發送的Identification標識是隨機或者采用一定的機制選取的，而每個源主機選取的方式是相互獨立的。設每個IP報文所對應的Identification為隨機取以下值之一：X1＝0，X2＝1，…，Xn＝n－1（n為65536），它們的取值服從同一（0-1）分布，其分布率為：
已知X1+X2+……+Xn服從二項分布，那么比較容易證明X是近似服從參數為n，p的二項分布。
分異常IP報文，它們的主要來源之一是人為構造的攻擊報文。這些異常IP報文和正常IP報文共同構成了網絡中存在的IP報文。
引理2 在網絡中實際觀測到的IP報文Identification標識的分布應當是正常IP報文分布和異常IP報文分布的疊加。
因此，可以通過區分這兩部分分布，有效地識別網絡中可能存在的流量異常，為其他檢測方法（如報文分析）提供預警，從而為網絡行為分析、入侵檢測等提供必要的依據。
3 基于標識字段的異常檢測方法
本文基于IP報文Identification標識的角度將IP報文分為正常IP報文和異常IP報文，整個網絡的流量也是由其分別對應的正常流量和異常流量構成的。從較大規模網絡（主干網絡和部分局域網）的角度分析，正常IP報文Identification標識的分布規律由引理1可知近似為二項分布，而異常報文的分布具有隨機性和多樣性，也就導致了其的不可預測性。但是根據引理2，可以通過繪制網絡流量曲線并從中分離出正常流量，就可以得到目前網絡中異常流量的曲線，然后對這些流量的進一步分析就可以獲得或部分獲得流量異常的原因。
將獲取的所有IP報文不同Identification標識數量的非空有限集合定義為P， 則根據IP協議的定義可知：，其中隸屬于正常IP報文的集合定義為 ，異常IP報文的集合為Pb，P＝PaUPb。
根據引理1可知，在集合Pa中j應服從參數為（na，0.5）的二項分布，則集合中的元素pa（x）的值應當基本等于其均值。采用報文總數n乘以一個預定義的比例r來估計正常IP報文的數量，由于在非極端情況下，正常IP報文數量占報文總數量的絕大多數，所以r值的估計偏差比較小，還可以根據網絡當前的狀況動態地調整r的取值。這樣就可以從IP報文集合里分離出正常IP報文集合，從而獲得異常IP報文結合，然后根據異常IP報文集合中元素的分布狀況給進一步分析提供依據。
對異常IP報文的分析，主要通過定義一個閾值（Fthreshold）來將可能存在的網絡異常流量從其他原因所引起的噪聲區別出來，這個閾值可以設定初始值然后根據識別結果動態修正。
基于IP報文Identification標識的異常流量發現算法
通過大量的實驗證明，在一般情況下，異常IP報文的Identification集中在0附近，有時還出現個別標識的報文數量偏移平均值較遠。
4 流量行為的實例分析
針對CERNET主干網絡的長期觀測結果顯示，在大多數情況下，Identification標識的分布是十分均勻的，具有某個特定Identification值的IP報文數量均在基于標識的平均報文數量附近。從整個分布曲線來看，IP報文數是圍繞平均值作平穩的小幅振動，這也證實了第2節所提出的假設1。
觀測結果還發現，在所有觀測時段中，Identification標識為0的IP報文數量遠遠高于平均值，這與文獻[2]中實驗觀察結果相一致，這不符合正常IP報文均勻分布這個論斷，所以在標識為0的IP報文中有可能大量存在非正常報文。對Identification標識為0的IP報文進行分析發現，有大量相同源宿IP和相同端口的IP報文在短時間內重復出現，所以導致了標識為0的IP報文數量大大超過平均值，在剔除了這些異常報文之后，所剩的IP報文數量非常接近于平均值。由此可見，標識為0的IP報文數量異常的主要原因是因為大量存在這些異常IP報文。對實驗觀測所得的其他標識的IP報文數量異常進行進一步分析，發現結果與此相類似。在實驗中還發現相當數量的來自同一源IP和源端口對應不同宿IP的相同宿端口的IP報文，這是典型的掃描攻擊的表現。
本文對不同時段在CERNET主干網采集的IP報文進行分析（每個時段持續10分鐘），分析所得報文分布曲線如圖1所示。
選取參數r＝0.98， 獲得各個時段對應正常報文集合Pa，并從總體IP報文集合中去除正常IP報文集合獲得異常報文數量分布曲線如圖2所示。
采用初始閥值Fthreshold＝1，除去了可能存在的網絡其他噪聲后，可以得到在Identification標識為若干特定值的IP報文中可能存在相當數量的異常報文，從而為進一步的報文分析提供預警。實驗數據顯示，在2007年8月17日01:00和2007年8月21日22:00在網絡中存在一定的流量異常。
5 結束語
本文提出了一種新型的基于IP報文Identification字段進行網絡異常流量發現和分析方法，該方法的主要優點在于算法簡單，所占用的系統資源較小，誤報率低，可以較方便地嵌入到目前流量檢測工具中和其他報文分析方法及工具結合使用等等。但是由于其觀測的對象所限，該方法并不能有效地發現偽裝成正常IP報文的異常流量，它必須和其他報文分析工具配合使用才能達到最佳的效果。
參考文獻：
[1] DARPA Internet Program Protocol Specification.Internet Protocol. Information Sciences Institute University of Southern California.1981(RFC791).
[2] 程光.大規模高速IP網絡流量抽樣測量及行為分析研究[D],東南大學博士論文,2003(1):41-44.
[3] 程光,龔儉,丁偉.基于抽樣測量的高速網絡實時異常檢測模型[J],軟件學報,2003,14(3):594-599.
[4] 鄒柏賢.一種網絡異常實時檢測方法[J],計算機學報,2003,26(8):940-947.
中圖分類號：TP183 文獻標志碼：A 文章編號：1007-2683（2017）01-0086-05
0 引言
目前，火焰檢測大多是通過使用點式光電感煙探測技術來執行的。這些方法在大的，開放空間和有固定延時的情況下檢測效果不好，這是因為燃燒粒子所到達傳感器所用時間的影響。文僅使用像素的顏色信息最為特征來檢測。文中的檢測方法使用傅里葉描述符來描述火焰的邊界。在文中，使用小波分析來解決FFT執行時窗口的選擇問題。這種方法依賴于小波能量，尋找小波能量最低且對噪聲是敏感的點。文中，作者提出一種系統，這種系統建?；鹧嫦袼刈鳛橐环N固定空間像素小波系數的隱馬爾科夫模型，這種固定空間像素是在三中狀態之間變化的變量。此外，他們使用邊界區域光滑作為分類變量。這兩個屬性相結合作為一個弱分類器。在文中非煙區域使用背景估計和顏色信息進行濾波。然后，計算Lucas-Ka-nade光流并且使用流的統計信息來訓練神經網絡。
這些方法有一個共同點，就是不試圖區分類獨立的像素。本文為了檢測火焰和煙霧，同樣不去使用獨立的像素，以利于與火焰、火災煙霧顏色相近的實物的區分?；谠撝饕芯磕康?，提出了基于最優質量傳輸光流法的檢測算法，并結合神經網絡，對火焰和煙霧進行檢測。
1 分類器特征選擇
目前大多數的檢測方法都是基于啟發式模型，這種模型描繪火或者煙的大約特征，但這往往不是最優的。一個最基本的方法是從描述煙或者火的訓練數據中學習，訓練一個分類器如神經網絡等。訓練和測試的原理如圖1所示。
計算一個圖像序列的光流，而不是簡單的幀差，這允許考慮成像過程所期望的屬性；接下來會討論原因，基于最優質量傳輸的光流被計算用于火的分類，Horn-Schunck光流用于煙霧區域的分類。
圖1（a）通過人工標記樣本圖像序列創建訓練數據。樣本含有時空像素鄰域，這個鄰域被標記是否含有火，煙或者二者都沒有。通過系數矩陣有限差分求解器來計算最優質量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的，且特征矢量通過一個反向傳播神經網絡分類器進行分類處理。
圖1（b）在一個新的視頻幀中使用訓練的分類器權重為每個像素鄰域創建特征適量測試分類器。最終的輸出含有每個像素類成員的概率（煙、火都沒有）。
1.1 最優質量傳輸
最優質量傳輸問題起初是由Gaspar Monge在1781年提出的，且關注尋找將一堆土從一個地點移動到另一個地點最優的方式，其意義在于最小化傳輸成本。這個問題在Kantorovich研究中被給出一種數學構造，這就是熟知的Monge-Kantorovich問題。
我們現在給出Monge-Kantorovich問題的構造。令Ω0和Ω1是Rd的兩個子域，擁有光滑的邊界，每個有一個正的密度函數，分別是μ0和μ1。我們假設
這項總的相同質量是與Ω0和Ω1有關的。我們認為微分同胚映射u是從（Ω0，μ0）到（Ω1，μ1），微分同胚映射的意義是映射一個密度到其他的密度
（1）
也許有許多這樣的映射，并且從某種意義上來說我們想要選擇一種最優的。因此，定義LPKantorovich-Wasserstein度量標準如下：
（2）
（3）式中|Hω|表示ω的海森行列式。
因此，Kantorovich-Wasserstein度量定義兩個質量密度的距離，通過考慮式（2）給出的公式計算從一個域到另一個域最便宜的方式，最優傳輸映射在p=2是情況下，是某一種函數的梯度。這個結果的新穎之處在于，它像平面上的Riemann映射理論，這個過程指出一個特定的偏愛幾何學的映射。
1.2 光流法
光流是一種計算方法來計算在很短時間差內一組圖像間運動。主要的思想是每個圖像的灰度值在兩幀圖像間是不變的。這導出光流約束方程
（4）
（5）
注意方程（5）的一個潛在的假設是亮度恒定。在這種假設下，一個物體的亮度從一幀到另一幀是恒定的。這個假設適用于一個朗伯表面剛性物體但不是用于氣體和液體材料。在計算機視覺中，這些通過所謂的動態紋理建模。煙和火的典型的動態紋理具有內在動態，所以不能通過標準光流方法來進行捕獲。同時，煙/火區域流的速度比周圍地區的速度快的多，通過公式（5）給出的模型可能又會產生很多錯誤結果。
這篇文章的目聳腔竦酶好的光流場模型用于火和煙霧檢測。這樣做的一個方法是基于在這些過程中物理屬性的光流。一個簡單的屬性是火和煙大約使亮度守恒作為一個廣義質量并且以文中的最優方法進行移動。因此，一個恰當的數學上的光約束不是強度守恒而且質量守恒或者亮度守恒。這個模型被寫為
（6）
理由如下：
這意味著區域強度的總的變化率僅通過一個光流表示（邊界上進入或者出去的）。這是一個守恒定律。但是通過散度定理
這是一個精確無窮小亮度（質量）守恒條件。
下面是前面部分的解釋，本文提出了用于動態紋理分割的光流：
第一項是優化問題，代表移動圖像的總質量，第二項是質量守恒光流方程。
2 神經網絡分類分類器
煙霧檢測可以抽象為兩種模型，其檢測結果由給定的像素決定屬于有煙的情況或是無煙的情況。神經網絡的最小二乘計算模型滿足貝葉斯判別式。輸出的結果是關于一個像素屬于某一特定類的概率，因此決定像素屬于有煙情況或是無煙情況的閾值是使用者根據其期望設定的。根據貝葉斯定理，多個事件的后驗概率公式可以寫成如下形式：
（8）
上式中的x由Ck類滿足判別式yk（x，w）具有最大值時確定。如果x屬于Ck則目標值tk（x）=l，否則都為零。神經網絡每次輸出的誤差如下式所示：
（9）
當樣本數量趨近無限大時，在文中可以看出，反向傳播算法最小化下面的式（10）來縮小由神經網絡來產生的誤差
（10）式中的n代表類的數量。上式表明當數據點的數量趨近與無窮時，輸出的結果的判別式等價于后驗概率中）yk（x，ω）≈P（Ck|x）。因此，把x指定給類Ck，也就是映射具有最大值的判別式函數，相當于把x指定為具有最大后驗概率的這個類。
根據貝葉斯原理，確定判別式的形式。后驗概率如下式：
（11）
將文中ak=ln（p（x|Ck）p（Ck））的替換，式（11）也稱為softmax函數。此式恰恰是神經網絡使用的激勵函數。
假設類的條件概率密度p（x|Ck）屬于分布的限制指數族，則采用下面的形式：
（12）
將上式的密度代入式（11），得到的等式是關于ak（x）與x成線性關系：
（13）
因此，判別式采用激勵函數的形式，當非線性函數φ（x）的線性組合為變量時如下：
（14）式中f（?）為激勵函數。
在神經網絡中的非線性函數組成了隱藏單元，這些非線性函數是根據具體情況選擇的，而且它們是關于輸入的線性組合的函數。
（15）其中h（?）是一個柔性最大值（softmax）函數。本文所使用的神經網絡是完全被連接的，并且由一個含有20個隱藏單元的單隱層構成的，這個隱藏單元在隱藏層和輸出使用softmax非線性。
3 實驗結果
為了獲得如下結果，只需要6幀圖片來訓練神經網絡分類器。包括手動描繪的有火、無火、有煙和無煙的區域。樣本的數量要小并且出自同一視頻中。通過提供更多明顯的樣本，例如來自不同的視頻資源的有用和沒用的數據樣本?？梢允狗诸惼鳈z測更多的視頻。
神經網絡分類器的輸出結果為每個像素的后驗概率p（Ck|x），這里的類Ck指的是有火或煙和無火或煙，x是給定像素的特征向量，圖2中顯示了分類器的一個樣本輸出中一幀圖像的所有像素。根據閾值可以選擇像素的類，圖2顯示的是煙，圖3顯示的是火。
對圖2所示的圖片進行特征向量提取和相鄰時空像素最優質量傳輸光流速度值計算，并提供給神經網絡分類器。輸出的每個像素的概率屬于煙的類。如圖2（b）所示，這種選擇是根據閾值概率做出的。可見白煙是從白墻中區分出來的。
中圖分類號:TP393 文獻標識碼:A文章編號:1007-9599 (2010) 05-0000-02
Network Server Traffic Analysis
Zhu Ye
(TravelSky Technology Limited,Beijing100029,China)
Abstract:This article analyzes the current status of the network server traffic analysis.discusses the significance of monitoring and analysis on the server traffic and summarizes main content.Then,the article provides solutions on the server traffic based on the agreement of Net flow v9、IPFIX and PSAM.At last,proposes software framework design pattern.
KeyWord:Network Server;Server Traffic Analysis;Server Traffic Control
一、前言
今天的數據網絡給我們的生活、工作和人與人之間的溝通帶來了極大的方便,網絡業務日趨豐富,網絡流量高速增長。同時,網絡運營商之間的競爭也逐漸激烈,以高投資為特征,追求簡單規模擴張的粗放型競爭模式已經不適應當前的形式。挖掘現有網絡資源潛力,控制網絡互聯成本,提供有吸引力的增值業務,提高網絡運維水平成為在激烈競爭中的制勝策而要實現這些,都離不開可靠、有效的網絡流量監控的有力支撐。
二、網絡流量監控和分析的意義
用戶現有的網絡管理系統在長期的網絡流量分析方面存在不足。主要表現在如下方面:
(一)長期的網絡和應用問題分析能力不足
現有的網絡管理系統無法長期的紀錄網絡和應用的運行狀態,無法長期的保存網絡流量信息,在出現網絡或應用問題時,不能為網絡技術人員提供有效的信息依據,問題往往是依靠網絡技術人員通過推斷來分析,這樣網絡問題的分析效率很低,同時很難得到確實的分析結論。
(二)缺乏對網絡和應用間歇性問題的分析能力
網絡或應用可能出現間歇性故障,這種故障的出現一般很難判斷,在出現后很難分析其產生原因,而再次出現的時間無法確定,因此難以解決,好像網絡中存在一個不定時的炸彈,使用戶網絡和應用時刻處于危險之中。
(三)對網絡安全問題的分析能力不足
在發生網絡安全問題時,缺乏有效的監控分析手段,導致網絡的安全性降低,例如蠕蟲病毒的爆發,應該能夠對蠕蟲病毒的傳播情況進行有效的分析。
三、網絡流量分析內容
流量分析系統主要從帶寬的網絡流量分析、網絡協議流量分析、基于網段的業務流量分析、網絡異常流量分析、應用服務異常流量分析等五個方面對網絡系統進行綜合流量分析。
(一)帶寬的網絡流量分析
復雜的網絡系統上面,不同的應用占用不同的帶寬,重要的應用是否得到了最佳的帶寬?它占的比例是多少?隊列設置和網絡優化是否生效?通過基于帶寬的網絡流量分析會使其更加明確。工具主要有MRTG等,它是一個監控網絡鏈路流量負載的工具軟件, 它通過snmp協議從設備得到設備的流量信息,并將流量負載以包含PNG格式的圖形的HTML 文檔方式顯示給用戶,以非常直觀的形式顯示流量負載。
(二)網絡協議流量分析
對網絡流量進行協議劃分,真對不同的協議我們進行流量監控和分析,如果某一個協議在一個時間段內出現超常暴漲,就有可能是攻擊流量或蠕蟲病毒出現。Cisco NetFlow V5可以根據不同的協議對網絡流量進行劃分,對不同協議流量進行分別匯總。
(三)基于網段的業務流量分析
流量分析系統可以針對不同的VLAN來進行網絡流量監控,大多數組織,都是不同的業務系統通過VLAN來進行邏輯隔離的,所以可以通過流量分析系統針對不同的VLAN 來對不同的業務系統的業務流量進行監控。Cisco NetFlow V5可以針對不同的VLAN進行流量監控。
(四)網絡異常流量分析
異常流量分析系統,支持異常流量發現和報警,能夠通過對一個時間窗內歷史數據的自動學習,獲取包括總體網絡流量水平、流量波動、流量跳變等在內的多種網絡流量測度,并自動建立當前流量的置信度區間作為流量異常監測的基礎。能把焦點放在組織的核心業務上。通過積極主動鑒定和防止針對網絡的安全威脅,保證了服務水平協議(SLA)并且改進顧客服務, 從而為組織節約成本。異常流量分析工具主要有Arbor公司的 PeakFlow DoS安全管理平臺、PeakFlow Traffic流量管理平臺等。
(五)應用服務異常流量分析
當應用層出現異常流量時,通過IDS&IPS的協議分析、協議識別技術可以對應用層進行深層的流量分析,并通過IPS的安全防護技術進行反擊。
四、網絡流量控制解決方案建議
對于目前運營商對網絡流量控制的需要,論文推薦的流量控制解決方案構架是:全網集中監視+重點控制。全網集中監視反映的是對整個網絡的性能監視和分析。重點控制是在網絡中的關鍵位置部署監控探針,在網絡中心設置管理系統,以實現運營商在遠程對重點地區進行更加細致的監視和控制作用。
(一)監控探針的放置點建議
國際出口、網絡互聯端口、骨干網的重要中繼、重要城市的城域網出口等位置。
(二)全網集中監視主要實現的功能
實時監測網絡狀況。能實時獲得網絡的當前運行狀況,減輕運維人員工作負擔。能在網絡出現故障或擁塞時自動告警,在網絡即將出現瓶頸前給出分析和預測。
合理規劃和優化網絡。通過對網絡流量的監視、數據采集和分析,給出詳細的鏈路和節點流量分析報告,獲得流量分布和流向分布、報文特性和協議協分布特性,為網絡規劃、路由策略、資源和容量升級提供依據。
引導提供網絡增值業務。通過對業務占用帶寬的分布、業務會話的統計分析,能夠了解和分析網絡特性和用戶使用偏好,引導開發和規劃新的網絡應用和業務平臺,進行增值業務的拓展和市場宣傳,引導用戶需求。
靈活的資費標準。通過對用戶上網時長、上網流量、網絡業務以及目的網站的數據分析,擺脫目前單一的包月制,實現基于時間段、帶寬、應用、服務質量等更加靈活的資費標準。
(三)重點控制實現的功能包括
提供主動的控制功能。不僅僅局限于對網絡流量狀況的獲得,還能夠提供基于網絡流量監測系統GATE 1000硬件平臺和業界領先算法的流量控制功能,主動改進網絡服務。
滿足重點監控需要?？梢蕴峁┴S富的監控特征參數,可以進行靈活的復合設定,全面滿足運營商需要,也可以通過定制來實現特定要求。
降低互聯互通成本。獲得重點出口中繼鏈路的利用率、用戶和協議分布、源和目的網段間的流量分布和趨勢,提供運營和互聯成本分析。為網絡互通、租用中繼以及選擇商業戰略伙伴決策時提供科學依據,降低成本。
實現區分服務,保證服務質量。流量監控獲得的數據,可進行高低優先級客戶的網絡資源占用率分析、服務質量的監測。通過資費政策的調節、業務等級的區分、在中繼線路上實施流量控制,優先保證高優先客戶的服務質量。
網絡安全和抵御DOS攻擊。通過連接會話數的跟蹤,源目的地址對的分析,TCP流的分析,能夠及時發現網絡中的異常流量和異常連接,偵測和定位網絡潛在的安全問題和攻擊行為,保障網絡安全。
五、IPFIX與PSAMP標準
IPFIX(IP Flow Information Export,IP流動信息輸出)是IETF的技術人員2004年才制訂的一項規范,使得網絡中流量統計信息的格式趨于標準化。該協議工作于任何廠商的路由器和管理系統平臺之上,并用于輸出基于路由器的流量統計信息。
IPFIX定義的格式為Cisco的NetFlow Version 9數據輸出格式作為基礎,可使IP流量信息從一個輸出器(路由器或交換機)傳送到另一個收集器。因為IPFIX具有很強的可擴展性,因此網絡管理員們可以自由地添加或更改域(特定的參數和協議),以便更方便地監控IP流量信息。使用模板的方便之處在于網管和廠商不必為了用戶能夠查看流量統計信息,而每次都要更換軟件
為了完整地輸出數據,路由器一般以七個關鍵域來表示每股網絡流量:源IP地址、目的地IP地址、源端口、目的端口、三層協議類型、服務類型字節、輸入邏輯接口。如果不同的包中所有的七個關鍵域都匹配,那么所有這些包都將被視為屬于同一股流量。此外,一些系統中還有為了網絡統計進行跟蹤而附加的非關鍵域,包括源IP掩碼、目的地IP掩碼、源地址自治系統(autonomous system)、目的地自治系統、TCP flag、目的地接口以及IP next-hop等。按照IPFIX標準,如果網絡操作人員想以附加的非關鍵域來描述包,那么基于模板的格式會在輸出包的報頭之后插入一個新域,并新增新的模板記錄。
六、網絡監測系統框架
采用不同的檢測方法,通過分布式監測方式對通過高速IP網絡的數據包進行統計和分析。采集服務器搜集的數據包及統計數據被傳送到綜合服務器,經合并處理后存入數據庫,并進行進一步的分析處理。在這個過程中,可應用Netflow v9、IPFIX以及PSAMP等標準和協議,實現對采集數據的編碼與傳輸。與通常的SNMP、Netflow及其它網管標準不同的是,該框架采取了PSAMP標準及技術,在不降低監測與分析效果的情況下,盡量減少檢測數據量。
整個框架從總體看,可分為網絡流量數據采集和網絡數據分析兩大部分。
網絡流量數據采集:為適應不斷發展的高速網絡應用,框架中采用了分布式網絡流量數據采集方案,IP流數據可從不同的設備以不同的方法來獲取。利用路由器/交換機的數據流量采集功能或是從其他IPFIX/PSAMP數據采集設備,也可直接從網絡接口卡等網絡數據包攝入設備來得到網絡數據,然后再以不同的標準,最終由網絡流量數據采集服務器將所有傳來的不同格式的數據集中。
為體現現代計算機應用中的兼容性,框架中對網絡硬件接口的應用方面,突出了其應用多樣性。這樣,在原有硬件設備的基礎上,如普通的網卡(NIC)、基于硬件時間戳的Endace DAG卡或者其它的專用FPGA網絡接口設備,都可以在libpcap、winpcap等庫的支持下,由BPF虛擬處理器作為缺省的包捕獲工具。在包捕獲的軟件實現上,采用了多線程機制,使用不同形式的數據隊列和數據緩沖設備,以應對突發的大量數據包。
接下來對捕獲的數據包,分別交由兩種方法和途徑進行處理:在Netflow標準支持下,同步完成記帳業務。在這種操作模式下,傳送的總的數據量可以被統計下來。數據分析模塊利用PSAMP協議,根據不同的具體需求采取不同的取樣算法,對數據包進行過濾和抽取以進行分析處理。這樣就可以根據實際的需要來進行選擇,以減少傳輸和分析處理的數據量。
網絡數據分析:對采集來的網絡流量數據,根據不用的應用要進行詳細的分析處理?？蚣苤羞@個部分的設計采用以SQL數據庫為中心的分布式數據集中和分析的方法。
以DBMS為中心的操作可以獲得更好的分析樣本以及統計粒度。此外,為便于網絡管理人員的操作,框架中應用基于Web的直觀的、圖形化的管理界面,所有數據輸出都以腳本語言(XML)的形式,直接在Web頁面中顯示。管理人員可以實時觀察網絡運行狀況,還可以對歷史數據進行瀏覽、分析,同時還可這些實時數據傳送到其他應用系統,如分布式入侵檢測系統、網絡跟蹤等。
七、結束語
總的來說,在網絡設備上配置網絡流量監控系統,對網絡流量進行分析和監控,好處還是顯而易見的。特別是對于網絡流量負荷比較大的網絡?？梢杂行У墓澥【W絡帶寬和處理資源。也可以作為計費或者流量控制或者網絡規劃的參考。
參考文獻
一、引言
隨著配電網生產、管理及營銷的信息集成度越來越高，眾多相互關聯的因素都會影響到業務的質量，任何一個環境都可能造成業務質量的下降，孤立的去監控某個元素無法保證整個端到端的傳輸質量。因此我們需要從網絡的角度，實時監控、分析整個業務的流程，及時把握實際環境中各因素對業務質量的影響，從科學的角度去規劃、優化網絡與業務系統。網絡流量監測是網絡管理的基礎，如何在高速網絡中完整、準確、實時地采集和處理網絡流量數據是流量監測研究的重點課題。
二、電力網j監測系統現狀分析
通過對全國大部分省市的監測系統進行調研發現，目前大部分省市采用的監測系統存在以下問題：
2.1故障定位與分析困難
當網絡故障發生后，管理員通常只能單純根據網絡故障的表面現象，憑借現有的工具和個人的經驗，通過不斷的嘗試對問題作出判斷，由于缺乏有力的信息支撐，往往在網絡故障產生后很難迅速定位網絡故障點，解決網絡故障耗時耗力，效率低。
2.2網絡應用流量成分分析不深入
雖然借助當前的網絡工具能夠獲得某個交換機端口的網絡流量類型數據，但無法掌握長期的網絡應用流量成份數據，并且無法對發生在過去的未定義應用進行分析，特別是在未知流量與異常流量發生后，難以追蹤造成流量異常的IP主機與應用端口。
2.3缺乏對對網絡與應用性能的整體監測手段
當終端用戶訪問業務系統的應用時延增大，網管人員需要了解具體響應時延的數據，根據歷史數據進行分析判斷是否與網絡因素有關，還是與業務的應用系統的性能有關，進而采取相應措施，而目前大部分電力網絡監測系統缺乏對對網絡與應用性能的整體監測手段。
為了解決上述問題，我們需要研制一套監測方案，能夠對各節點的各種網絡設備和重要鏈路進行實時和長期的監控，以便進行故障預防和故障排除，并且為網絡規劃和網絡運行管理提供依據。
三、網絡流量監測分類及關鍵技術
網絡流量監測主要是為了對網絡數據進行連續采集，通過對網絡數據進行連續采集，獲得并存儲網絡及其主要成分的性能指標。下面重點介紹幾種重要的網絡流量監測技術。
3.1基于流量鏡像協議分析
流量鏡像協議分析方式是把網絡設備的某個端口（鏈路）流量鏡像給協議分析儀，通過7層協議解碼對網絡流量進行監測，缺點是流量鏡像（在線TAP）協議分析方式只針對單條鏈路，不適合全網監測。
3.2基于SNMP/RMON的流量監測技術
SNMP，是基于TCP/IP協議的各種互聯網絡的管理協議，提供從網絡設備收集網絡管理信息的方法，并為設備提供了向網絡管理站報告故障和錯誤的途徑。
此類檢測技術的優點是具有普遍適應性。一般而言，所有的網絡設備都提供標準的SNMP功能，能夠滿足一般的端口鏈路流量監視的要求；不足是功能單一，信息量少，不支持歷史數據的存儲，實時流量的分析性能差，不能進行故障分析、網絡協議解碼等功能的實現。
3.3基于NetFlow/sFlow流量監測技術
NetFlow集成在Cisco的各類路由器和交換機內，是Cisco公司開發的專用流交換技術，同時也可用于記錄流量統計信息。sFlow也是一種嵌入在路由器或交換機內的基于抽樣的流量監測技術，sFlow的目標是實現高速網絡中多設備、多端口的基于應用的流量測量。主要缺點是：特定于廠商的設備、價格昂貴、實時性較差等。
3.4基于數據采集探針的監測技術
數據采集探針是專門用于獲取網絡鏈路流量數據的硬件設備。使用時將它串接在需要捕捉流量的鏈路中，通過分流鏈路上的數字信號而獲取流量信息，一個硬件探針監視一個子網（通常是一條鏈路）的流量信息。全網流量的監測需要采用分布式方案，在每條鏈路部署一個探針，再通過后臺服務器和數據庫，收集所有探針的數據，做全網的流量分析和長期報告。基于硬件探針的最大特點就是能夠提供豐富的從物理層到應用層的詳細信息，但是部署相對復雜，費用也較高。
綜上所述，四種監測技術各有優缺點，其中基于數據采集探針的監測技術，可以獲得詳細信息，可為故障分析、網絡優化、網絡規劃提供實時的、歷史的重要數據。但是部署相對復雜，下文將具體細述部署方案。
四、系統部署方案
下文以某市電網系統為原型介紹部署方案。
4.1部署千兆硬件探針
部署硬件探針是為了實現對訪問IDC服務器群的流量以及關鍵業務系統間的交互的流量進行網絡與應用性能分析。
下表是各網絡層級對應的數據源、需求、網絡性能參數：
在IDC中心機房的核心交換機上連接一臺硬件探針，在核心交換機上配置端口鏡像，將訪問“服務器群區”、及“關鍵業務系統間交互數據”的流量鏡像到所連接的端口。
千兆硬件設備采用雙進程體系結構：Probe實時分析進程和流量記錄與分析進程。
4.2部署管理服務器
部署管理服務器，對探針進行遠程管理，并存放探針的分析統計結果，提供實時監控分析、數據包捕獲解碼、自動報告生成和集中告警功能。管理服務器同時能夠獲取路由器與交換機的SNMP MIB數據，對網絡設備各端口的流量大小進行長期監控并生成所有鏈路的流量基準。
五、系統功能設計
基于硬件探針的電力綜合數據網監測系統可實現下列九大功能：
網絡性能分析和優化
問題分析和主動管理
報表系統
異常流量分析
響應時間監控
數據捕獲和協議分析
鏈路監控分析
網絡監控分析
應用監控分析
六、結論
本文對電力系統的綜合數據網監測方案進行分析，提出了一種基于網絡探針的檢測管理系統，通過對該系統的總體構架和關鍵技術進行研究，實現并部署了一套系統在廣東電網某供電局成功使用，效果良好。
網絡流量性能測量與分析涉及許多關鍵技術,如單向測量中的時鐘同步問題,主動測量與被動測量的抽樣算法研究,多種測量工具之間的協同工作,網絡測量體系結構的搭建,性能指標的量化,性能指標的模型化分析,對網絡未來狀態進行趨勢預測,對海量測量數據進行數據挖掘或者利用已有的模型(petri網、自相似性、排隊論)研究其自相似特征,測量與分析結果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網絡中采用網絡性能監測技術,可以實現
1.1 合理規劃和優化網絡性能
為更好的管理和改善網絡的運行,網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監測、數據采集和分析,給出詳細的鏈路和節點流量分析報告,獲得流量分布和流向分布、報文特性和協議分布特性,為網絡規劃、路由策略、資源和容量升級提供依據。
1.2 基于流量的計費
現在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業務以及目的網站數據分析,擺脫目前單一的包月制,實現基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。
1.3 網絡應用狀況監測與分析
了解網絡的應用狀況,對研究者和網絡提供者都很重要。通過網絡應用監測,可以了解網絡上各種協議的使用情況(如www,pop3,ftp,rtp等協議),以及網絡應用的使用情況,研究者可以據此研究新的協議與應用,網絡提供者也可以據此更好的規劃網絡。
1.4 實時監測網絡狀況
針對網絡流量變化的突發性特性,通過實時監測網絡狀況,能實時獲得網絡的當前運行狀況,減輕維護人員的工作負擔。能在網絡出現故障或擁塞時發出自動告警,在網絡即將出現瓶頸前給出分析和預測。現在隨著Internet網絡不斷擴大,網絡中也經常會出現黑客攻擊、病毒泛濫的情況。而這些網絡突發事件從設備和網管的角度看卻很難發現,經常讓網絡管理員感到棘手。因此,針對網絡中突發性的異常流量分析將有助于網絡管理員發現和解決問題。
1.5 網絡用戶行為監測與分析
這對于網絡提供者來說非常重要,通過監測訪問網絡的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網絡。
2)訪問我的網絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網絡的哪些部分。
通過這些信息,網絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網絡流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體,即性能指標主要包括以下幾項。
2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網絡的基本能力或屬性,不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網絡的丟包率,一般采用直接發送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網絡能夠提供的最大的吞吐量。
2.5 流量參數
ITU-T提出兩種流量參數作為參考:一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔,即包吞吐量;另一種是基于字節吞吐量:用傳輸成功的IP包中總字節數除以時間間隔。
3.測量方法
Internet流量數據有三種形式:被動數據(指定鏈路數據)、主動數據(端至端數據)和BGP路由數據,由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網絡用戶或網絡研究人員用來分析指定網絡路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監測者的角度反映的性能。
3.2 被動測量
被動測量是在網絡中的一點收集流量信息,如使用路由器或交換機收渠數據或者一個獨立的設備被動地監測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經過的路由。但被動測量的優點使得決定測量之前應該首先考慮被動測量。被動測量技術遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網絡流量抽樣測量技術
