時間：2023-06-04 08:37:22
序論：速發表網結合其深厚的文秘經驗，特別為您篩選了11篇網絡流量分析的方法范文。如果您需要更多原創資料，歡迎隨時與我們的客服老師聯系，希望您能從中汲取靈感和知識！
1 多媒體流量分析的基礎
多媒體在應用層面對于用戶的強大支持，映射到其數據層面，必然是不容忽視的大量不同數據格式。而在這樣的環境之下，想要展開有效的網絡流量分析，實現對于通信資源的優化利用，首先必須展開對于多媒體報文的有效分類。每一個報文都會在這個過程中被分類到對應的類型，而后進一步依據運營商制定的傳輸優先策略對其展開傳輸處理。
多媒體流分類問題可抽象成從多媒體報文映射到流類型的過程，多媒體報文流經流分類器，即展開對于其的辨別并且添加相關的類型標識，通常會將該標志寫入報文頭部字段中，便于后續識別和處理。在識別的過程中，可供識別多媒體流的方法主要有三種，即基于報文頭部信息的分類方法、基于數據包載荷內容的分類方法以及基于流量統計模型的分類方法。其中基于報文頭部信息的分類方法，即依據報頭中的多元組信息展開工作，將其與預先定義的規則集進行比對匹配，并且確定出媒體流的對應分類進行標識。此種工作方式相對簡單，因此發展也趨于成熟，效率較高，但是在識別過程中由于多媒體應用使用的端口通常并不固定，因此針對而言準確率比較有限。而基于數據包載荷內容的分類方法則面向報文載荷信息展開識別和工作，進一步又可以針對應用層協議展開解析或針對載荷內容展開特征解析。此種識別方式工作準確率基本有所保證，但是對于某些私有協議以及加密數據流，會因為無法有效提取特征信息而導致識別失敗。最后，基于流量統計模型的分類方法主要是關注多媒體流量特征，通過流量來判斷多媒體數據的傳輸行為模式，諸如數據包的大小以及包與包之間的間隔時間等方面特征。此種方式能夠實現系統的自主學習，但是會存在一定的分類延時。
2 網絡流量分析技術淺議
對多媒體進行標識之后，可以在網絡環境中展開更為有效的網絡流量分析。已經被標記的信息流在傳輸過程中能夠表現出不同的對于資源的占用，以此作為依據展開更具有針對性的網絡流量分析，對于整體網絡數據傳輸資源和功能的優化都必然有著積極價值。
隨著計算機技術的不斷成熟，網絡流量分析技術也呈現出不斷發展的特征。當前的流量分析技術，主要是在傳統的數據庫技術基礎之上，以一種開放的態度構建起支持自學習的網絡流量分析系統，從而實現整個體系的智能化。就目前的狀況看，常見的幾種流量分析技術有以下幾種。小學德育論文
1）SNMP技術。此種技術主要用于實現面向網絡環境中多種類型設備展開監控和管理，并且對既有問題進行定位。該技術系統包括SNMP協議、管理信息結構以及管理信息庫三個部分構成，其中SNMP協議用于實現在應用程序和設備時間交換信息，而管理信息結構用于指定一個設備維護的管理信息的規則集，最后管理信息庫用于明確設備所維護的全部被管理對象的結構集合。
2）RMON技術。該項技術由IETF定義，本身是對于SNMP技術的一種深入。其對于標準功能以及網管站遠程監控器之間的接口進行了重新定義，使得其能夠實現更為順暢的數據交換，從而有助于展開對于網絡環境數據流量的更為有效監視。在RMON系統中，當探測器發現了一個非正常態的網絡段之后，會主動與網絡維護管理控制臺接通聯絡，并將對應的網絡信息進行發送，實現對于整體網絡流量的監控和分析。
3）SFlow技術。此種技術以隨機采樣作為主要的研究方式，并且能夠提供從第二層到第四層的相對完整的網絡流量分析信息，這種分析甚至可以擴展到整個網絡環境中，能夠實現面向大數據流量的適應，尤其是在面向以流媒體作為主要流量資源占用的網絡環境時，仍然能夠保持穩定的表現。此種技術成本較低且不會因為引入其技術為網絡環境帶來新的沖突，同時數據信息量大，能夠實現更為完善的網絡分析。
4）NetFlow技術。此種技術主要用于實現網絡層高性能交換，首先被用于對網絡設備的數據交換進行加速。但是其核心是對于流緩存進行進一步的整理，因此在工作的過程中必然會能夠得到很多依據匯聚方法而統計的數據，其中包括諸如源IP、目的IP以及源端口和目的端口以及相關傳輸協議與包數量等，這些信息和統計數據對于深入展開網絡流量分析有著不容忽視的積極價值。
3 結論
在多媒體應用的網絡環境中，深入可靠的網絡流量分析系統，對于切實提升網絡自身的數據傳輸能力，為多媒體用戶提供更為穩定的數據傳輸服務有著積極價值。實際工作中唯有不斷深入發現自身網絡環境特征，才能有的放矢展開有效的流量分析，實現網絡環境優化。
路由器、交換機、寬帶接入服務器是構成寬帶網絡的主要網絡設備，一般數據網管系統可以看到每一臺設備的CPU、內存、端口流量、路由數據庫等網絡信息，但這些流量是怎樣構成的，會對網絡產生怎樣的影響，我們無從知曉。對寬帶網絡流量的深入分析，使網絡設備流量監控系統可以監測的數據包括：網絡流量構成分析、使用的協議、系統負載、端口分布情況、數據應用統計、數據安全性、發送時間等。網絡流量分析應用可以接收來自網絡的各種信息，通過對這些數據的分析，網絡管理員可以深入了解網絡當前的運行狀況。下面從幾個方面對寬帶網絡流量分析方法進行探討：
1 數據抽樣
抽樣是指從原始數據集中按一定原則抽取部分實例，構成數據子集作為觀察對象。抽樣的目的是為了代表原始數據集特性的較小的數據集上獲得對原始數據集特性的推斷。數據抽樣的方法包括簡單隨機抽樣，即按照1/k的頻率，隨機進行抽樣；系統抽樣按數據包生成的時間順序，在抽取第一個數據包后，每隔k個包抽取一個包；分層抽樣可對標注過的每類應用采用簡單隨機抽樣或系統抽樣方式抽取數據包；集群抽樣可從多個子數據集中再隨機抽取若干個子數據集。
為對數據分布進行準確的分析，要用到幾個簡單的度量指標，包括算數平均值Mean、算數和S、計數C、最小值Min、最大值Max、極差Ed、中列數Mr、第一個四分位數Q1、第三個四分位數Q3、中位數Median、眾數Mode、離群點Outlier等。設n個排序后的觀察：
C=n
Min=x1
Max=x1
Ed=Max-Min
Mr=（Max-Min）/2
Q1=xn/4
Q3=x3n/4
Median=（x[n/2]+x[（n+1）/2]）/2
另外，眾數是指數據集中出現頻率最高的數；離群點有時又稱為歧異值，通常是指數據集中與數據一般行為不一樣的樣本。
2 流量分類
網絡流量分類是依據網絡應用協議對應的某些參數或特征，自動將網絡流量分成不同流量種類的過程。流量分類一般指將網絡流量分為多類，如果是二類分類，則可以使用流量檢測、流量識別、流量鑒別等方法。
從網絡流量分類針對的目標粒度，由細到粗又可以進一步分為包級（packer-level） 、流級（flow-level）和會話級（session-level）。包級分類基于網絡數據包所具有的特征，如包長、包到達間隔時間等，對每個數據包進行分類；流級分類基于五元組（源IP地址、源端口號、目的IP地址、目的端口號和協議）進行分類，除關注包級特征外，通常會進一步考慮流級得指紋特征，統計特征或行為特征；會話級分類基于三元組（源IP地址、目的IP地址和協議）進行分類，適用于簡單網絡服務環境的流量粗分類。
基于DPI（深度包檢測）的流量分類方法通過分析特定應用在通信過程中的傳輸協議特征串實現流量分類，DPI一般是在應用層內容搜索特征串，如BitTorrent的某個TCP數據包中包含特征串”0x13BitTorrent”。在基于載荷進行DPI的流量分類中，DPI流量分類需要解決如下幾個問題：非標應用和私有協議越來越多，它們多缺乏公開可用的協議規范，導致特征串難找易變；某些特征模式的代表性較差，僅能匹配到部分流量，導致檢全率較低；隨機加密流可能匹配若干模式，導致誤檢率較高；基于協議語法或數據語義分析需要進行大量計算，導致系統時間和空間開銷較大。
3 基于統計學習的流量分析
基于統計學習的流量分析方法通過計算特定應用流量的統計信息，利用各種機器學習算法，包括有監督學習算法和無監督學習算法，對捕獲的網絡數據包進行鑒別。基于機器學習的網絡流量分類通常包含三個步驟：統計特性抽取，單包特征如包長，復合流統計如均值或標準偏差；分類器構造及訓練；新流量分類。
基于機器學習的流量分類方法面臨以下幾個方面的問題：難以確定最有效的特征集，既要選擇最佳的n個特征，使分類算法得到最大的分類準確率，同時要求n的值最小；高維特征導致某些算法收斂時間長，計算復雜性較高，若僅參考從數據包頭導出的分類特征，如果每個流用于抽取特征的包數為n，則收集每個特征的計算成本將接近n.log2n；某些算法模型可能陷入局部最優；分類準確率高度依賴于樣本的先驗概率，而訓練和測試樣本對某類流量可能是有偏樣本。
4 總結
寬帶網絡流量分析是網絡運營管理，網絡發展規劃，網絡流量調度和高效能業務前瞻的依據。網絡流量分析也是網絡攻擊和惡意代碼檢測以及流量清洗的重要手段。隨著寬帶網絡流量的快速增長，骨干網體系架構不斷演進、扁平化、網狀化、動態自適應成為網絡發展的趨勢，寬帶網絡流量分析再次面臨巨大挑戰，包括：高速網絡數據實時無損采集、單向流、協議私有化、加密、P2P、隧道傳輸、缺乏可信數據集和評估標準，網絡流量分析研究工作仍然需要不斷深入與創新。
參考文獻
[1]（美）Nader F.Mir，潘淑文.計算機與通信網絡[M].北京：中國電力出版社，2010（01）.
[2]余浩，徐明偉.P2P流檢測技術研究綜述[J].清華大學學報，2009（49）.
[3]彭蕓，劉瓊.Internet 流分類方法的比較研究[J].計算機科學，2007（34）.
1網絡流量分析的內容
網絡通信流量分析的目的是了解網絡工況，及早發現可能存在的數據流量問題和應對措施。需明確的是，計算機網絡通信的核心作用是傳輸數據，而網絡流量的分析就是采集和分析計算機網絡中傳輸的海量數據流，網絡數據流的分析從計算機及傳輸相關的物理硬件底層的數據流到應用層的數據流分析，也稱為網絡通信協議分析。網絡管理人員若想了解和管控好一個網絡，其最重要的就是對網絡的了解，所謂知己知彼，包括并不限于了解網絡的拓撲結構、配置參數和設備類型等，但要保證網絡通信的服務質量，這樣的認知是還是遠遠不夠。對網絡通信流量的分析能使網管更深入地了解計算機網絡，包括計算機網絡運行規律、網絡運行模式和用戶的上網行為。
2網絡異常的行為
計算機網絡異常的發現是建立在充分認知和網絡閥值為基礎的，一旦網絡流量突破了網管人員預設的網絡流量閥值，就需要通過發現、詢因、流控等技術手段，以防止網絡流量的無限暴增，進而能為網絡通信保持一定的高性能運行提供重要的保障。通常的網絡異常情況如下：(1)網絡運行異常：網絡中流量的異常，包括資源利用率、數據包數的異常。(2)網絡應用異常：進程連接數量、用戶應用響應、應用程序流量的異常，都能通過長期的主動分析來及時預警和發現。(3)用戶的異常上網行為：異常的上網行為也有鮮明的流量特征，如被蠕蟲病毒感染、不知情的情況下安裝了后門程序等，長期的數據流量分析能及時發現上網用戶的這些異常網絡行為，如何及時發現網絡用戶的異常上網行為是解決其影響網絡正常高效運行的關鍵。
二建立機器學習的計算機網絡通信流量分析
模型計算機網絡流量的突變性、弱耦合性和影響的非線性等特性，對傳統計算機網絡通信理論提出了新的挑戰，導致對網絡流量和協議概率分布的準確建模變得異常困難。
1模型擬解決的問題
針對計算機網絡通信流量分析的特點，提出了一個基于機器學習的計算機網絡通信的流量分析概念模型。提出該模型的真正目的在于：最大限度地利用獲得的流量數據和網管人員的監測信息，自動完成流量分析的各個任務，自適應各種上層應用及對網絡的性能優化。同時，模型通過計算機主動學習，指導主動式監測的進行。從通信流量分析的具體任務而言，如果已經較好地獲得了數據流量的概率分布特性，有兩個基本的問題：（1）正常情況，計算機監控程序能否利用已得到的概率統計特性來預測可能發生未知的數據流量情況；（2）數據流量的特性突變之時，計算機監控程序能否快速、有效地發現這種流量突變。這分別對應于網絡數據流量預測和異常網絡數據流量檢測，可以通過具有自學習能力的計算機程序自動實現上述預測和檢測。
2機器學習的概念
模型所謂機器學習的本質是計算機程序的性能隨著經驗的累積能自我完善。恰當選擇計算機的機器學習算法，可最大限度地使用上述經驗和監測信息，從而完成流量分析各任務的自動化處理，并根據應用環境對網絡的性能進行優化。為此，機器算法是處理上述問題的理想選擇。首先給出基于機器學習的網絡流量分析模型，接著從機器學習的角度，闡明基于改進Boosting的機器學習算法。機器學習的本質是將人類的經驗積累和長期的監測到的統計數據通過計算機程序以自動提高其性能，根據計算機通信網絡分析的一般流程，提出機器學習模型。此類模型利用網絡監測算法測量獲得的流量數據，然后利用機器學習的方法，自動完成流量分析的各項作業任務，支持各種上層應用對網絡的性能優化。當網絡管理人的監督信息可以獲得的時候，該數據信息可以作為機器學習算法的儲備和先驗知識，結合人類的智慧以進一步提高算法的性能，如此往復，循環提升，不斷提高系統的數據流量分智能。
3改進Boosting算法
改進Boosting算法是一類使得學習算法的性能得以提高的學習策略。基于Boosting的學習算法的思路：找到許多簡單粗略的判斷準則要比找到一條非常準確的準則容易得多。通過不斷調用這種算法，每次用訓練樣本的不同子集對它進行訓練，循環多次后，這些準則就會結合成一條基本學習規則。
DOIDOI：10.11907/rjdk.162346
中圖分類號：TP309
文獻標識碼：A 文章編號文章編號：16727800（2016）011018402
0 引言
異常流量相對于平穩的網絡流量有著顯著變化，它來自于網絡中的擁塞和路由器上的資源過載。網絡運營商必須及時準確地檢測異常流量，否則網絡無法有效、可靠地運行[1]。研究人員采用了各種分析技術，從基于體積分布的分析到基于網絡流量分布的分析來研究流量異常檢測。而最近研究表明，基于熵的異常檢測具有更好的效果。該方法是在流量分布中捕捉細粒度的模式，使用熵來跟蹤流量分布的變化具有兩方面優勢：①利用熵可以提高檢測靈敏度，異常事件的發生可能未表現出存儲量異常；②使用流量特征可以診斷信息異常事件的性質（如區分蠕蟲、DDoS攻擊或掃描）[2]。
一般而言，大多數研究者認為Flow頭的功能（如IP地址、端口和流量大?。┛勺鳛榛陟氐漠惓z測的備用選擇[3]。然而，端口和地址分布的兩兩相關性大于0.95，異常檢測到的端口和地址分布明顯重疊，這是產生深層流量模式的本質原因。此外，異常掃描、DoS和P2P事件都不能通過端口和地址分布進行精確檢測，或只有在顯著的網絡流量異常事件發生時才能檢測出異常?？紤]到端口和地址分布的有限作用，應選擇流量分布作為基于熵的異常檢測指標。
本文提出一種利用度分布提高端口和地址分布檢測能力的異常檢測機制。使用入度和出度分布來估算每個主機通信的目的/源IP地址，對于每個入度值（出度值），通過計算熵來診斷異常。其中，選擇目的/源IP地址作為唯一備用指標，而不是兩個地址和端口，不需要使用具有相同底層屬性的不同分布來增加計算開銷。同時，為了捕捉動態網絡流量的本質，引入了一個固定時間寬度的滑動窗口機制。
1 相關研究
網絡流量的異常檢測是保證網絡正常有效運行的重要手段。網絡流量異常檢測技術自提出以來，經過多年發展，誕生了多種檢測方法，但這些方法通常都存在一定缺陷。因此，如何進一步提高檢測準確性、減少誤報率仍然是國內外學者的研究熱點。其中，許多方法都集中在使用流量分布來診斷異常，如Thottan[4]使用單獨的MIB變量的統計分布來檢測網絡流量的突然變化。在各種異常統計檢測技術中，基于熵的方法已被證明在檢測異常的流量矩陣時間序列中的準確性和效率。張航等[5]利用最大值和相對熵建立了一種基于行為的異常檢測方法。以最大熵為基礎的基線分布由預先標記的訓練數據構成，但該基線適應網絡流量動態變化的機制仍然不清楚。本文提出一個機制，根據動態網絡流量在測量期間的變化來構建自適應基線，并調整基線在一個特定的時間跨度內。
在線檢測異常受大流量數據的實時統計影響。吳靜等[6]采用五元組流分布（即源地址、目的地址、源端口、目的端口、協議）進行流量分析，導致內存和處理能力的高開銷。一些網絡入侵檢測系統，如FlowMatrix與Snort匹配數據包到一個預定義的規則集，使它們無法檢測未知異常[7]。本文認為地址和端口具有高相關性，并使用地址作為獨特的度量來代替元組，用于檢測異常度分布的熵，不僅可減輕計算過程中在線分析階段的開銷，而且在發現新的異常類型方面比常規方法效果更好。
2 基礎理論
大多數流量異常都有一個共同特點，它們誘導流量頭特征分布的異常變化，如源地址、目的地址與端口，一般顯示出分散或集中分布的現象[8]。
例如，圖1顯示了3種類型攻擊的流量特征分布。圖1（a）顯示了一個典型的分布式拒絕服務（DDoS）攻擊。在這種情況下，大量主機發送信息到一個特定主機。同樣，許多網絡蠕蟲通過發送隨機探測，即到隨機區域產生大量目的地IP地址，從而使受感染的計算機繼續感染其它脆弱的計算機，如圖1（b）所示。在一些掃描事件中，一個源IP地址隨機掃描多個IP地址，如圖1（c）所示。
從以上分析得知，網絡流量發生異常時，會使源/目的地址、源/目的端口分布出現變化（見表1）。接下來需要研究：①采用什么指標可以準確配置這些異常流量特征，并明確表明上述攻擊的發生；②如何有效地量化異常大小，并揭示非正常的流量行為。
3 診斷方法
3.1 系統模型
總體架構包括3個主要功能部分：處理引擎（后端）、數據庫和WebGUI（前端）。處理引擎執行顯式算法WebGUI和數據庫之間的通信。引擎主要實現以下幾方面任務：①接收NetFlow記錄的數據，如路由器、交換機、防火墻等，并以一個特定方式將數據通過緩沖存儲到數據庫；②獲得相關參數后，可通過使用SQL查詢來計算熵值度分布的原始流量數據；③根據測量期間的網絡狀態自動調整檢測閾值。流量統計數據庫提供了結構化存儲，簡化了熵值的分布程度計算。WebGUI前端可通過圖形方式顯示檢測結果。
3.2 算法設計
進行在線流量分析時，要提高異常檢測精度，減少計算時的開銷，異常檢測的流程與算法必須是輕量級的。首先，設計一個數據源和數據庫之間的緩沖區進行存儲和檢索。其次，考慮到許多攻擊一般只有幾分鐘時間，如DDoS攻擊一般只持續兩分鐘，因此要設置一個有限的時間段作為一個基本測量時間窗口的度量單位。
從概念上講，該算法可以分為3個階段：在第一階段，配置Netflow在特定時間段內的頁面流量統計，根據訓練數據和預定義的閾值熵排除異常值，以便在測量期間準確校準基線。自適應閾值在檢測過程中生效；第二階段為處理階段，滑動時間窗口時，計算該窗口中流量特征的熵值；第三階段為后處理階段，設置閾值為下一個檢測過程的計算均值熵和方差。該算法的偽代碼如下：
4 結語
本文介紹了基于度分布的流量異常在線檢測方法，該方法具有以下優點：①可以準確、高效地使用流量頭特征捕捉細粒度的流量模式分布，不僅減少了在線處理時間，也提高了檢測能力；②利用熵可以提高檢測靈敏度的特點來發現已知或未知的流量異常，并將其量化；③具備一種可降低誤警率的自適應閾值。下一步工作是進一步分析流量異常特征，尋找診斷網絡異常的方法。此外，降低報警延遲也是需要考慮的問題之一。
參考文獻：
[1] 王秀英，邵志清，陳麗瓊.異常流量檢測中的特征選擇[J].計算機工程與應用，2010（28）：129131.
[2] 崔錫鑫，蘇偉，劉穎.基于熵的流量分析和異常檢測技術研究與實現[J].計算機技術與發展，2013（5）：126129.
[3] 鄭黎明，鄒鵬，韓偉紅.基于多維熵值分類的骨干網流量異常檢測研究[J].計算機研究與發展，2012（9）：154163.
[4] THOTTAN M，JI C.Anomaly detection in IP networks[J].IEEE Transation on Signal Processing，2003，51（8）：21912204.
[5] 趙飛翔，張航，何小海.基于多層分塊的異常行為檢測算法[J].科學技術與工程，2015（10）：112116.
中圖分類號：TP393 文獻標識碼：A文章編號：1007-9599 (2010) 14-0000-01
The Flow Monitoring Method of Network Management
Li Jiabin
(Ocean University of China,Qingdao266100,China)
Abstract:With the rapid development of modern network technology,by network flow monitoring,to detect traffic anomaly within the enterprise LAN host,or set the threshold according to the system early warning so as to better protect the normal course of business demand for network bandwidth ,is the inevitable requirement of the development of network technology.In this paper,the characteristics of network traffic,network traffic measurement has done a study,so as to optimize the traffic monitoring technology made a number of recommendations.
Keywords:Network management;Network flow;Monitoring
企業局域網的廣泛應用為廣大企業帶來了快速的信息響應、辦公效率的大幅提升、經營成本的降低等眾多好處。但同時，隨著網絡技術突飛猛進的發展，網絡應用五花八門，企業也不得不面對越來越多的惡意網絡攻擊與黑客入侵。目前，企業局域網網絡安全綜合應用了防火墻、入侵監測、漏洞掃描、補丁分發等安全產品，致力于建設集訪問控制、流量監測、帶寬管理及終端管理等功能與一體的安全管理平臺。通過對網絡流量的監測，及時發現企業局域網內流量異常的主機，或者根據系統設置的閾值提前預警，從而更好的保護正常業務對網絡帶寬的需求。所以，網絡流量監測是實現對企業局域網運行狀況掌握與管理的有效手段。
一、網絡流量的特征
（一）數據流是雙向的，但通常是非對稱的?；ヂ摼W上大部分的應用都是雙向交換數據的，因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異，這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。（二）大部分TCP會話是短期的。超過90%的TCP會話交換的數據量小于IOK字節，會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的，但是由于80%的www文檔傳輸都小于IOK字節，WWW的巨大增長使其在這方面產生了決定性的影響。（三）包的到達過程不是泊松過程。大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程。簡單的說，泊松到達過程就是事件按照一定的概率獨立的發生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。（四）網絡通信量具有局域性?；ヂ摼W流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關和基于空間的相關。
二、網絡流量的測量
網絡流量的測量是人們研究互聯網絡的一個工具，通過采集和分析互聯網的數據流，我們可以設計出更加符合實際的網絡設備和更加合理的網絡協議。計算機網絡不是永遠不會出錯的，設備的一小點故障都有可能使整個網絡癱瘓，或者使網絡性能明顯下降。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發現和解決問題?；ヂ摼W流量的測量從不同的方面可以分為：
（一）基于硬件的測量和基于軟件的測量。基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量，這些設備一般都比較昂貴，而且受網絡接口數量，網絡插件的類型，存儲能力和協議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內核中的網絡接口部分，使其具備捕獲網絡數據包的功能。與基于硬件的方法比較，其費用比較低廉，但是性能比不上專用的網絡流量分析器。（二）主動測量和被動測量。被動測量只是記錄網絡的數據流，不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。（三）在線分析和離線分析。有的網絡流量分析器支持實時地收集和分析網絡數據，使用可視化手段在線地顯示流量數據和分析結果，大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據，把數據存儲下來，并不對數據進行實時的分析。（四）協議級分類。對于不同的協議，例如以太網，幀中繼，異步傳輸模式，需要使用不同的網絡插件來收集網絡數據，因此也就有了不同的通信量測試方法。
三、網絡流量的監測技術
根據對網絡流量的采集方式可將網絡流量監測技術分為：基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于Netflow的監測技術三種常用技術。
（一）基于網絡流量全鏡像的監測技術。網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備，實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比，流量鏡像采集的最大特點是能夠提供豐富的應用層信息。（二）基于Netflow的流量監測技術。Netflow流量信息采集是基于網絡設備提供的Netflow機制實現的網絡流量信息采集。（三）基于SN的流量監測技術?；赟NMP的流量信息采集，實質上是通過提取網絡設備Agent提供的MIB中收集一些具體設備及流量信息有關的變量?；赟NMP收集的網絡流量信息包括：輸入字節數、輸入非廣播包數、輸入廣播包數、輸入包丟棄數、輸入包錯誤數、輸入未知協議包數、輸出字節數、輸出非廣播包數、輸出廣播包數、輸出包丟棄數、輸出包錯誤數、輸出隊長等。在此基礎上實現的流量信息采集效率和效果均能夠滿足網絡流量監測的需求。
在綜合比較三種技術之后，不難得出以下結論：基于SNMP的流量監測技術能夠滿足網絡流量分析的需要，且信息采集效率高，適合在各類網絡中應用。
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網絡流量的特征
(一)數據流是雙向的,但通常是非對稱的
互聯網上大部分的應用都是雙向交換數據的,因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異,這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。
(二)大部分TCP會話是短期的
超過90%的TCP會話交換的數據量小于10K字節,會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節,WWW的巨大增長使其在這方面產生了決定性的影響。
(三)包的到達過程不是泊松過程
大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布,而且不是獨立分布的。大部分時候是多個包連續到達,即包的到達是有突發性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性,從而促進了網絡通信量模型的研究。
(四)網絡通信量具有局域性
互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。
二、網絡流量的測量
網絡流量的測量是人們研究互聯網絡的一個工具,通過采集和分析互聯網的數據流,我們可以設計出更加符合實際的網絡設備和更加合理的網絡協議。計算機網絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網絡癱瘓,或者使網絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發現和解決問題?；ヂ摼W流量的測量從不同的方面可以分為:
(一)基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量,這些設備一般都比較昂貴,而且受網絡接口數量,網絡插件的類型,存儲能力和協議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內核中的網絡接口部分,使其具備捕獲網絡數據包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網絡流量分析器。
(二)主動測量和被動測量
被動測量只是記錄網絡的數據流,不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。
(三)在線分析和離線分析
有的網絡流量分析器支持實時地收集和分析網絡數據,使用可視化手段在線地顯示流量數據和分析結果,大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據,把數據存儲下來,并不對數據進行實時的分析。
(四)協議級分類
對于不同的協議,例如以太網(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網絡插件來收集網絡數據,因此也就有了不同的通信量測試方法。
三、網絡流量的監測技術
根據對網絡流量的采集方式可將網絡流量監測技術分為:基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于Netflow的監測技術三種常用技術。
(一)基于網絡流量全鏡像的監測技術
網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。
(二)基于Netflow的流量監測技術
Netflow流量信息采集是基于網絡設備提供的Netflow機制實現的網絡流量信息采集。
中圖分類號：TP393.1 文獻標識碼：A 文章編號：1672-3791（2013）05（b）-0249-02
隨著高等教育信息化的發展，高等教育對于網絡的依賴日漸增加，同時高校校園網的出口帶寬要求也越來越高。但是受到資金、出口建設成本和網絡技術等方面的限制，高校校園網出口帶寬不可能無限提高，由此導致了高校校內用戶日益增長的網絡需求與出口帶寬限制網絡流量之間的矛盾。而通過對出口網絡數據進行深層次應用分析制定相關策略能夠在一定程度上緩解這一矛盾。
1 網絡流量分析及控制的關鍵技術
網絡流量分析及控制是指對數據包進行檢測，并通過制定的策略對網絡應用實現放行、限制或阻塞的技術?，F今P2P類下載應用占用了大量的帶寬資源，導致網絡的擁堵和服務質量的下降。為了保證用戶能夠平等的使用網絡帶寬，需要采取必要的技術對P2P等應用進行一定程度的檢測與調控。目前主要的分析控制技術如下。
1.1 傳統防火墻對網絡流量的分析及控制
傳統防火墻都工作在OSI參考模型的第2、3、4層，通過對TCP/UDP端口、數據包的源/目的IP地址、MAC地址等進行過濾，實現對網絡流量的監視。一般都是對數據包的包頭來做策略，并不關心整個數據包的信息。傳統防火墻對網絡流量的處理方法一般都是阻塞某種協議常用端口，或者阻斷客戶端與服務器的連接等。由于不能有效的分析數據包內部信息，不能有效的了解用戶應用層的信息，也就不能有效的限制用戶的應用。采用傳統防火墻阻斷服務器與客戶端連接的方法也已經不能準確的識別與控制。
1.2 DPI技術
深度報文檢測技術DPI（Deep Packet Inspectio）是在分析數據包包頭的基礎上，增加了對OSI參考模型第七層即應用層的分析。當IP數據包、TCP、UDP數據流經過基于DPI技術的流量控制系統時，通過深入讀取數據包的內容來對應用層信息進行重組，從而得到整個應用程序的內容，然后按照系統定義的管理策略對流量進行整形操作。DPI技術可以分為兩大類：（1）使用特征字與掩碼相結合進行協議識別的DPI技術；（2）使用正則表達式庫進行協議識別的DPI技術。
2 高校校園網絡的現狀
目前大部分高校都已建成完善的園區網，普遍采用傳統的三層結構（核心層、匯聚層和接入層），并租用運營商電路實現與互聯網的高速對接。
校園網的主要特點是學生是網絡的主要用戶。隨著網絡技術的發展，學生作為社會最活躍的團體，對于網絡新興服務需求迫切，尤其是視頻服務。造成的結果是對網絡帶寬的占用比例極高，造成傳統服務的服務質量下降。
以我院為例，我院校園網絡始建于2008年，網絡已覆蓋教學、辦公、生活等區域，其中學生宿舍網絡出口帶寬所占比例達到80%以上，其中多以視頻、P2P應用為主。
3 采用流量控制技術調整出口應用
在具體實現方面，采用了Panabit軟件。Panabit是北京派網軟件公司開發的免費的應用層流量控制系統，是基于穩定性極高的FreeBSD開發的?？稍跒g覽器中對系統進行圖形化管理，界面友好，操作簡便。
3.1 Panabit流量控制系統的部署
（1）安裝。
Panabit需要獨立安裝在一臺計算機中，硬件配置要求如表1。
由表1可見，對于目前PC的硬件水平完全可以滿足安裝需要，只需要在計算機中多加裝兩塊網卡即可。
Panabit的硬件部署在網絡出口上。配置的3塊網卡，1塊用于管理Panabit管理系統，另外2塊分別用于采集上傳和下載流量的數據。
（2）Panabit系統的初始化配置。
①首先配置系統的IP地址等基礎信息（在此全部都采用校園網內部私有地址），以便遠程管理（采用HTTPS協議）。
②選擇網絡配置下的“數據接口”選項，兩塊網卡的“應用模式”均選擇為“透明網橋”。
3.2 Panabit系統的流量控制策略的配置
（1）分配帶寬。
Panabit對帶寬的分配有三種模式：即帶寬限制，帶寬保證，帶寬預留。根據我院對網絡需求的實際情況，采用了帶寬保證模式。下面對帶寬保證模式進行詳細的說明：首先，帶寬保證模式也具有帶寬預留模式的功能，即對特定IP組、特定協議預留出足夠的帶寬。例如教學、辦公IP組，教務系統的ITSP協議等。在此基礎上，帶寬保證在其預留的帶寬不能滿足應用要求的時候，會從剩余的總帶寬里借用所需帶寬。例如每學期開學和學期末，學生大量選課，可以對選課系統的SSL等協議進行帶寬保證設置。
（2）建立策略組。
可以根據數據包的源地址、目的地址、應用協議等建立策略組。
3.3 系統測試與分析
4 結語
為了提高網絡帶寬的利用率，使高校校園網絡的使用更趨合理，網絡流量分析及控制勢在必行，同時也是非常有效的手段?；ヂ摼W飛速發展，網絡流量分析及控制也隨之快速發展，為高校的教學等工作提供了穩定的網絡基礎，使教學信息管理系統和教學資源共享平臺的搭建更為安全、高效。為高校的信息化教學做出了貢獻。
參考文獻
[1] 劉劍鋒.部署運維管理平臺提高校園網運維水平[J].中國教育技術裝備，2011（10）.
【關鍵詞】綜合數據網 異常流量 支持向量機
1 某電網綜合數據網流量分析現狀
目前某電網公司綜合業務數據網以主數據中心和同城災備中心為核心，與全省各地供電局的綜合數據網絡核心形成互聯，互聯鏈路采用萬兆以太網傳輸技術，形成一個電網綜合數據業務傳輸的承載網平臺。具體網絡拓撲如下所示：
該電網公司綜合數據網絡核心日常數據流量已超過1GB，流量監控使用ARBOR流量分析設備來完成，通過Netflow的方式監測骨干層各中心匯聚設備連接到省中心的端口。
目前，該電網公司流量分析系統具備的主要功能包括：
（1）能夠得到端到端用戶體檢的量化數據，包括端到端的全過程響應時間。
（2）能夠得到網絡傳輸時延的數據，并考慮到不同數據包大小情況的網絡傳輸時延。
（3）能夠得到應用系統各個交互過程的響應時間的數據。
（4）能夠根據時間迅速定位流量，并根據地址、端口等信息迅速將所需網絡流量數據包檢索并抽取出來進行分析。
由以上功能點的統計分析，可以得知，目前該電網的流量分析系統能做到對網絡流量的統計及性能分析，但對網絡流量異常的做不到良好的預警。
2 流量異常檢測方法
自Denning研究異常檢測模型以來，網絡異常檢測方法的研究就一直受到學術界的極大關注。白玉峰研究致力于利用流量大?。ㄈ缌鲾?、分組數或字節數）來檢測網絡異常并獲得巨大成功，但是這類方法面臨的問題是：并非所有的異常都會引起流量大小的顯著變化；此外，采用不同的流量測度可能會識別出不同的流量異常，因此僅僅采用一種流量測度并不能識別蘊含在流量數據中的所有異常。
近年來的大量研究表明，不管是局域網還是廣域網，網絡流量都具有明顯的突發性和長相關性，而網絡的自相似性特性可以很好地描述流量這些特性，所以，自相似性已成為網絡流量的重要特性并以此作為流量異常檢測的基礎。現今已有大量計算機學科領域的算法和模型被使用在網絡流量的異常檢測方面，文獻采用小波分析方法利用網絡流量在時間尺度上的多重分形，在小波域內對網絡流量進行分解，通過計算網絡流量的Hurst指數，根據正常與異常流量Hurst指數的偏差來檢測異常，但該方法Hurst指數與時間尺度緊密相關，只對突發性的流量具有較好的檢測效果；文獻[1]提出一種融合k-means的聚類檢測算法，該文增量地構建流量矩陣，增量地使用PCA主成分進行異常檢測，這些方法在全網流量異常時檢測效果非常明顯，但算法相對過于復雜使其在實時性上較差；文獻[2] 使用一種基于信息熵的特征選擇算法，降低了檢測數據的維數，但增量學習的限制條件比較多，增量學習效率較低。
3 綜合數據網流量異常檢測
通過上述分析可以看出，數據流五元組的熵值較為穩定，可以通過熵值的變化情況來區分正常流量和異常流量。因此綜合數據網異常流量的檢測問題也就是通過對數據流量五元組熵值的分析來做出正?；虍惓５呐袛?。
3.1 異常流量檢測模型
針對上文中對流量特性的分析，綜合數據網異常流量的檢測問題可以理解為通過已有的流量特征據，將現有的流量分類為正?；虍惓?。模式識別理論是利用已有的信息，按照某種特定的規則確定未知的樣本的類別屬性，模式識別往往被看作是分類問題，讓機器自身從環境中分離出某種模式并對未知樣本的歸類做出合理的判斷。因此，可以將模式識別應用于綜合數據網的異常力量檢測，通過對己有的數據流量的熵值樣本進行學習，建立規律模型，利用該模型對未知樣本進行分類。
3.2 異常檢測算法
首先使用一定數量的正常流量和異常流量數據作為訓練樣本輸入到支持向量機之中，根據這些訓練數據輸出一個模型，這個模型實際上就是通過樣本構造的決策函數。然后將測試數據輸入該模型進行分類。
3.2.1 訓練階段
根據信息熵的定義，對樣本流量的五元組分別求熵，建立樣本流量的五維熵值向量。使用核函數將向量從五維變換到高位，再將數據作為訓練樣本輸入到支持向量機之中，根據這些訓練數據構造的一個決策函數。
3.2.2 檢測階段
將檢測流量輸入模型進行檢測，分類結果為1則為正常流量，分類結果為-1即為異常流量。
4 結束語
本文通過對電力綜合數據網的流量數據結構進行分析，驗證了電力綜合數據網正常數據符合重尾分布，且正常單位流量具有穩定的信息熵。在此基礎，對綜合數據網流量結構進行建模，采用支持向量機的識別算法對異常流量進行識別。實驗結果表明，在異常流量比例大于5%的條件下，算法能夠檢測出網絡中的異常數據。
下一步的工作是深入研究電力綜合數據網異常流量的類型以及各種異常流量對流量結構的影響，改進檢測算法，進一步提升算法的精度。
參考文獻
[1]DENNING D.An intrusion-detection model[J].IEEE Transactions on Software Engineering，1987，13（2）：222-232.
[2]TORRES R，HAJJAT M，RAO SG，et al.Inferring undesirable behavior from P2P traffic analysis[A].SIGMETRICS[C].USA，2009，231-242.
網絡流量性能測量與分析涉及許多關鍵技術,如單向測量中的時鐘同步問題,主動測量與被動測量的抽樣算法研究,多種測量工具之間的協同工作,網絡測量體系結構的搭建,性能指標的量化,性能指標的模型化分析,對網絡未來狀態進行趨勢預測,對海量測量數據進行數據挖掘或者利用已有的模型(petri網、自相似性、排隊論)研究其自相似特征,測量與分析結果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網絡中采用網絡性能監測技術,可以實現
1.1 合理規劃和優化網絡性能
為更好的管理和改善網絡的運行,網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監測、數據采集和分析,給出詳細的鏈路和節點流量分析報告,獲得流量分布和流向分布、報文特性和協議分布特性,為網絡規劃、路由策略、資源和容量升級提供依據。
1.2 基于流量的計費
現在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業務以及目的網站數據分析,擺脫目前單一的包月制,實現基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。
1.3 網絡應用狀況監測與分析
了解網絡的應用狀況,對研究者和網絡提供者都很重要。通過網絡應用監測,可以了解網絡上各種協議的使用情況(如www,pop3,ftp,rtp等協議),以及網絡應用的使用情況,研究者可以據此研究新的協議與應用,網絡提供者也可以據此更好的規劃網絡。
1.4 實時監測網絡狀況
針對網絡流量變化的突發性特性,通過實時監測網絡狀況,能實時獲得網絡的當前運行狀況,減輕維護人員的工作負擔。能在網絡出現故障或擁塞時發出自動告警,在網絡即將出現瓶頸前給出分析和預測。現在隨著Internet網絡不斷擴大,網絡中也經常會出現黑客攻擊、病毒泛濫的情況。而這些網絡突發事件從設備和網管的角度看卻很難發現,經常讓網絡管理員感到棘手。因此,針對網絡中突發性的異常流量分析將有助于網絡管理員發現和解決問題。
1.5 網絡用戶行為監測與分析
這對于網絡提供者來說非常重要,通過監測訪問網絡的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網絡。
2)訪問我的網絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網絡的哪些部分。
通過這些信息,網絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網絡流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體,即性能指標主要包括以下幾項。 2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網絡的基本能力或屬性,不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網絡的丟包率,一般采用直接發送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網絡能夠提供的最大的吞吐量。
2.5 流量參數
ITU-T提出兩種流量參數作為參考:一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔,即包吞吐量;另一種是基于字節吞吐量:用傳輸成功的IP包中總字節數除以時間間隔。
3.測量方法
Internet流量數據有三種形式:被動數據(指定鏈路數據)、主動數據(端至端數據)和BGP路由數據,由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網絡用戶或網絡研究人員用來分析指定網絡路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監測者的角度反映的性能。
3.2 被動測量
被動測量是在網絡中的一點收集流量信息,如使用路由器或交換機收渠數據或者一個獨立的設備被動地監測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經過的路由。但被動測量的優點使得決定測量之前應該首先考慮被動測量。被動測量技術遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網絡流量抽樣測量技術
選擇部分報文,當采樣時間間隔較大時,細微的網絡行為變化就無法精確探測到。反之,抽樣間隔過小時,又會占用過多的帶寬及需要更大的存儲能力。采樣方法隨采樣策略的不同而不同,如系統采樣或隨機采樣;也隨觸發采樣事件的不同而不同。如由報文到達時間觸發(基于時間采樣),由報文在流中所處的位置觸發(基于數目采樣)或由報文的內容觸發(基于內容采樣)。為了在減少采樣樣本和獲取更精確的流量數據之間達到平衡。
網絡流量性能測量和分析涉及許多關鍵技術，如單向測量中的時鐘同步新問題，主動測量和被動測量的抽樣算法探究，多種測量工具之間的協同工作，網絡測量體系結構的搭建，性能指標的量化，性能指標的模型化分析，對網絡未來狀態進行趨向猜測，對海量測量數據進行數據挖掘或者利用已有的模型（petri網、自相似性、排隊論）探究其自相似特征，測量和分析結果的可視化，以及由測量所引起的平安性新問題等等。
1.在IP網絡中采用網絡性能監測技術，可以實現
1.1合理規劃和優化網絡性能
為更好的管理和改善網絡的運行，網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監測、數據采集和分析，給出具體的鏈路和節點流量分析報告，獲得流量分布和流向分布、報文特性和協議分布特性，為網絡規劃、路由策略、資源和容量升級提供依據。
1.2基于流量的計費
現在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式，這對一般用戶和ISP來說，都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業務以及目的網站數據分析，擺脫目前單一的包月制，實現基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。
1.3網絡應用狀況監測和分析
了解網絡的應用狀況，對探究者和網絡提供者都很重要。通過網絡應用監測，可以了解網絡上各種協議的使用情況（如www，pop3，ftp，rtp等協議），以及網絡應用的使用情況，探究者可以據此探究新的協議和應用，網絡提供者也可以據此更好的規劃網絡。
1.4實時監測網絡狀況
針對網絡流量變化的突發性特性，通過實時監測網絡狀況，能實時獲得網絡的當前運行狀況，減輕維護人員的工作負擔。能在網絡出現故障或擁塞時發出自動告警，在網絡即將出現瓶頸前給出分析和猜測?，F在隨著Internet網絡不斷擴大，網絡中也經常會出現黑客攻擊、病毒泛濫的情況。而這些網絡突發事件從設備和網管的角度看卻很難發現，經常讓網絡管理員感到棘手。因此，針對網絡中突發性的異常流量分析將有助于網絡管理員發現和解決新問題。
1.5網絡用戶行為監測和分析
這對于網絡提供者來說非常重要，通過監測訪問網絡的用戶的行為，可以了解到摘要：
1）某一段時間有多少用戶在訪問我的網絡。
2）訪問我的網絡最多的用戶是哪些。
3）這些用戶停留了多長時間。
4）他們來自什么地方。
5）他們到過我的網絡的哪些部分。
通過這些信息，網絡提供者可以更好的為用戶提供服務，從而也獲得更大的收益。
2.網絡流量測量有5個要素摘要：
測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體，即性能指標主要包括以下幾項。2.1連接性
連接性也稱可用性、連通性或可達性，嚴格說應該是網絡的基本能力或屬性，不能稱為性能，但ITU-T建議可以用一些方法進行定量的測量。
2.2延遲
對于單向延遲測量要求時鐘嚴格同步，這在實際的測量中很難做到，許多測量方案都采用往返延遲，以避開時鐘同步新問題。
2.3丟包率
為了評估網絡的丟包率，一般采用直接發送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑（通路）中沒有其他背景流量時，網絡能夠提供的最大的吞吐量。
2.5流量參數
ITU－T提出兩種流量參數作為參考摘要：一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔，即包吞吐量；另一種是基于字節吞吐量摘要：用傳輸成功的IP包中總字節數除以時間間隔。
3.測量方法
Internet流量數據有三種形式摘要：被動數據（指定鏈路數據）、主動數據（端至端數據）和BGP路由數據，由此涉及兩種測量方法摘要：被動測量方法和主動測量方法然而，近幾年來，主動測量技術被網絡用戶或網絡探究人員用來分析指定網絡路徑的流量行為。
3.1主動測量
主動測量的方法是指主動發送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現實的流量（如WebServer的請求、FTP下載、DNS反應時間等）來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端，所以這種方法能夠代表從監測者的角度反映的性能。
3.2被動測量
被動測量是在網絡中的一點收集流量信息，如使用路由器或交換機收渠數據或者一個獨立的設備被動地監測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應，這些優點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難摘要：如決定分縮手縮腳一所經過的路由。但被動測量的優點使得決定測量之前應該首先考慮被動測量。被動測量技術碰到的另一個重要新問題是目前提出的要求確保隱私和平安新問題。
3.3網絡流量抽樣測量技術
關鍵詞:DPI;智能流量管理系統;管理策略
Campus Network Application Layer Traffic Monitoring and Flow Control Equipment to Study
TAO Wei-tian
(Network Management Center of Traditional Chinese Medicine in Gansu, Lanzhou 730000, China)
Abstract: With exports of campus network bandwidth increases and new applications development, the traditional port and IP-based traffic management difficult to meet the requirements, and has brought various problems. With quantitative analysis based on network planning and optimization is particularly important and urgent.
With the actual faces to the campus network, we should draw the network application-level monitoring technology, use-related flow control equipment, good flow control, only to allow the smooth operation of the dual network to educate the public, limited bandwidth, the effective application of resources, but also improve the network performance.
Key words: DPI; intelligent traffic management system; management strategy
隨著大學校園上網規模的增加,BT、P2P、視頻下載等應用風行,盡管已經多次升級線路帶寬,卻發現上網還是卡,帶寬還是不夠用。各式病毒攻擊也伴隨而來,更是惱人的問題。使得校園網流量管理變得異常困難,大量帶寬被非核心業務占用,而傳統的基于端口和IP的流量管理難以滿足要求;面對眾多的用戶及復雜多元的網絡應用,給校園網絡管理帶來很大的威脅,網絡管理人員經常遭遇下列問題:網絡占用率較高不能查明原因、帶寬不足需優化而缺乏統計數據、網絡突然中斷不能查明原因等、希望獲得詳細的網絡管理報表用來網絡優化或升級需要而沒有現成資料。
針對上述校園網絡實際面臨到的問題,我認為追根究底是要做好流量管控,使用應用層流量分析管理技術和產品,即可實現這方面的管理效果,這就需要做到:1) 了解網絡應用流量監測技術;2) 合理的使用流量管理產品。下面,分別就這兩方面做以闡述:
1 網絡應用流量監測原理及辦法
我們知道,傳統的流量和帶寬管理是基于OSI L2～L4層,通過IP包頭的五元組(源地址、目的地址、源端口、目的端口以及協議類型)信息進行分析,通常我們稱此為“普通報文檢測”。“普通報文檢測”僅分析IP包的4層以下的內容,通過端口號來識別應用類型。而當前網絡上的一些應用會采用隱藏或假冒端口號的方式躲避檢測和監管,造成仿冒合法報文的數據流侵蝕著網絡(例如P2P下載軟件大多采用動態協商端口機制),此時采用L2～L4層的傳統檢測方法就無能為力了。
為了識別諸如基于開放端口、隨機端口甚至采用加密方式等進行傳輸的應用類型,網絡流量應用識別基本技術DPI、DFI技術應運而生。也有文獻稱之為業務識別技術。
1.1網絡流量應用識別基本技術
1.1.1 DPI
DPI全稱為“Deep Packet Inspection”,稱為“深度包檢測”。DPI技術在分析包頭的基礎上,增加了對應用層的分析,是一種基于應用層的流量檢測和控制技術。當IP數據包、TCP或UDP數據流經過基于DPI技術的流量管理系統時,該系統通過深入讀取IP包載荷的內容,來對OSI 7層協議中的應用層信息進行重組,從而得到整個應用程序的內容,然后按照系統定義的管理策略對流量進行整形操作。
DPI技術通常采用如下的數據包分析方法:
傳輸層端口分析。許多應用使用默認的傳輸層端口號,例如HTTP協議使用80端口。
特征字匹配分析。一些應用在應用層協議頭,或者應用層負荷中的特定位置中包含特征字段,通過特征字段的識別實現數據包檢查、監控和分析。
通信交互過程分析。對多個會話的事務交互過程進行監控分析,包括包長度、發送的包數目等,實現對網絡業務的檢查、監控和分析。
DPI技術是達到應用層流控目標的基本方法,通過DPI技術,把流細分為對應具體的應用流,在分離流量的基礎上,定義帶寬通道,從而使網絡中的流量根據應用各行其道,優化寬帶服務,提高網絡運行效率和服務品質,保障關鍵應用,獲得更好的用戶體驗。
DPI實現應用粒度控制的流程是:識別分析控制報告,其中識別準確度是關鍵,是評估流控產品的重要指標。
1.1.2 DFI
DFI(Deep/Dynamic Flow Inspection,深度/動態流檢測)與DPI進行應用層的載荷匹配不同,采用的是一種基于流量行為的應用識別技術,即不同的應用類型體現在會話連接或數據流上的狀態各有不同。DFI更關注于網絡流量特征的通用性,因此,DFI技術并不對網絡流量進行深度的報文檢測,而僅通過對網絡流量的狀態、網絡層和傳輸層信息、業務流持續時間、平均流速率、字節長度分布等參數的統計分析,來獲取業務類型、業務狀態。
2 網絡流量管理產品
2.1 智能管理
早期的網絡流量管理方式是在路由器、防火墻或局域網交換機上使用簡單的帶寬管理或QOS來實現(至今一些單位的簡易流控需求仍沿用這種方式),但這種控制方式需要人為干涉,操作復雜,無法做到智能管理,所以不能滿足網絡管理中復雜策略的精細程度和靈活程度需要。
智能流量管理系統是一款專業的L7應用層流量管理產品,適用于大中型企業、校園網、城域網等流量大、應用復雜的網絡化境;通過監控網絡流量,分析流量行為,設置流控策略,分時段、按用戶、按應用實現流量控制和帶寬保障,全面提升帶寬利用價值。智能流量管理系統融合了DPI和DFI兩種技術,具有四個顯著特征。
1) 精確而廣泛的應用識別能力:對應用的識別是進行流量控制的基礎。智能流量管理系統應用識別庫能覆蓋各種主流應用,特別是結合國內網絡應用的實際情況,提供對迅雷、QQ等本土應用的識別。另外,智能流量管理系統能夠對諸如QQ這種具有即時消息、文件傳輸、音頻視頻、游戲等多種子協議的網絡應用,提供精細化的子應用識別。
2) 優異的產品性能及安全性保障:智能流量管理系統對用戶網絡中的所有流量進行處理,能夠承受巨大的流量壓力,特別是在配置復雜策略情況下,不會造成設備性能的下降。另外,設備是以串接方式接入用戶網絡,具有良好的安全性,在設備出現運行斷電或異常情況時,能夠保障用戶業務的暢通。
3) 強大的控制能力:智能流量管理系統能夠根據用戶的實際需求,提供強大而完善的控制手段。通過不同時間段、不同用戶、不同網絡應用、不同控制動作等條件,實現不同情景下的策略配置。我們知道任何網絡流量的使用都和人的因素密不可分,智能流量管理系統能夠對用戶進行靈活的分類管理,從而使控制策略更加符合實際需要。
4) 清晰而全面的信息查詢:智能流量管理系統不僅能實現對網絡流量的控制,而且能幫助網絡管理者對異常問題進行定位,以及通過網絡應用現狀的分析實現對網絡的優化。智能流量管理系統通過柱狀圖、餅狀圖、走勢圖等圖表,以及從不同的分析角度,可向用戶提供清晰而全面的實時信息查詢、歷史日志查詢、以及自動生成報表等功能。
2.2 國內外產品介紹
國外廠商,以Cisco SCE、Allot、Packteer、Sendvine、 ACENET、Maxnet。產品特性能好,解決方案和產品成熟,均有用戶管理系統(可能為動態IP環境中使用,將用戶帳號和流量策略結合來控制流量),除ACENET外,其主流產品功能相對單一,但非常專業。
國內廠商中,比較優秀的有暢訊信通的QQSG、南京信風、寬廣、華為SIG、金御等,國內產品適合國情,國內應用的識別率相對國外產品高,存在問題是產品性能宣傳強,但實際使用,尤其是在策略較多情況下性能差,個別產品有POS接口(適合部分國內運營商),價格較國外廠商有較大優勢,功能較多,但在流量管理領域,屬于發展期,不夠成熟。
2.3 設備的選擇
2.3.1 硬件技術
流量管理設備硬件技術主要有三種:Intel X86架構、ASIC技術和NP技術,由于X86架構處理速度相對較慢,單個芯片的可擴展性較差,所以大部分廠家的低端產品采用X86架構,高端產品采用ASIC或NP技術,以適用于不同的網絡環境需求。
2.3.2 工作模式
1) 路由模式:通過網關模式串接在用戶網絡鏈路中,所有流量都通過網關處理,對內網用戶上網行為和數據包實施控制、攔截、流量管理等功能。若將設備作為Internet 出口網關,設備的防火墻功能保障組織網絡安全,NAT功能內網用戶上網,實現基本的路由功能等。
2) 網橋模式:同樣串接在用戶網絡鏈路中,如同連接在出口網關和內網交換機之間的“智能網線”,對流經流控設備的所有數據流進行控制、攔截、流量管理等操作。網橋模式主要適用于不希望更改網絡結構、路由配置、IP 配置的用戶。
3) 旁路模式:即在出換機中配置鏡像端口,將流控設備的廣域網口同鏡像端口相連,實現對內網數據包的監聽。
采用旁路模式部署的流控設備,將與交換機的鏡像端口相連,部署實施簡單,完全不影響原有的網絡結構,降低了網絡單點故障的發生概率。
2.3.3 性能要求
1) 應用協議的識別與分類(種類和準確性),流控策略的普適性及長效性;
有些通過應用層特征碼來控制P2P的流控策略,如果不能及時更新特征碼或特征碼變得不可知,就可能導致流控失敗,一個近期的例子:BT通訊協議加密及迅雷通訊協議發生變化導致專門的P2P流控設備失效。好的流控設備不依賴于應用的特征碼,因此可以經得起時間及應用軟件協議變化的考驗。
2) 流控策略的全面性
普通設備的只對P2P應用做控制,好的設備對所有流量的帶寬、會話數、總流量和應用做控制。由于流量的多樣性,單靠一兩種策略是不能管理好的,必須實行全面的流控策略才能達到流量管理的目的。
3) 看監控對象及流控策略的精細度
好的設備既可以監控出口網關處的流量又可以監控來源網絡的流量分布;
普通設備的控制精度只能達到IP一級或網關一級,好的設備可以對每一源IP的不同應用分別做帶寬及會話數的控制,而且只有這樣才能保障關鍵應用及其它應用的服務質量以及相同等級用戶上網體驗的一致性。
4) 看流量數據存儲及處理方式
好的設備可以將流量數據輸出到專門的流量分析工作站,將流量存儲、分析、統計、查詢功能和流量捕捉功能分開,保證了流量分析設備的運行效率和流量數據存儲的可持續性。
5) 應盡可能使用性能可靠、管理方便、特別是在有故障時能夠自動旁路的設備,避免故障點的出現。
2.4 設備優缺點
流控設備不是萬能的,還要了解其缺點。
首先,因為它的工作原理和防病毒一樣屬于事后起作用,所以其優點是精準,其缺點是:1) 總有部分(10～30%)流量不可識別,例如IP碎片、加密流量等;2) 性能會持續下降,當特征碼越來越多時,性能就會越來越低,這種趨勢發展到一定程度就會使流控設備成為網絡中新的性能瓶頸;3) 由于要頻繁更新特征碼,因此一、設備后期維護難度大,總體擁有成本高;二、對廠家的依賴程度高,廠家停產、倒閉等不可抗力因素使得購買其產品成為一種賭博行為。其次,要區別對待基于應用層的帶寬分析技術和控制技術,確定有未知流量的存在對于7層帶寬分析技術來說是一種間接的成果,但是對于基于其上的帶寬控制技術來說就是現實的噩夢,因為它要先識別再做控制,所以這部分流量永遠無法得到有效的控制,當某種未知流量短期內突然增大時,流控措施就會馬上失效,例如,08年新版迅雷的快速普及就導致了不少流控設備失效,特別是一些國外的設備。
3 總結
綜上所述,只有做到網絡應用流量監測技術和網絡流量管理設備的深入了解,才能針對校園網所面臨的問題,選擇好適合自己需要的網絡流量管理設備,做到“心中有數、有的放矢”。
參考文獻:
[1] 聶瑞華.基于DPI技術的校園網絡帶寬管理[J].計算機技術與發展,2009(4).
