導言
骨干網(wǎng)流量監控系統主要是針對省級網(wǎng)絡(luò )運營(yíng)商規模的網(wǎng)絡(luò )進(jìn)行監控，流量一般都在100G以上。網(wǎng)絡(luò )監控系統的架構與傳統的IDS類(lèi)似，都是通過(guò)分光器或者專(zhuān)用流量回流設備將流量鏡像到監控系統，由于流量很大，所以需要配置專(zhuān)門(mén)的一級分流設備和二級流量負載均衡設備來(lái)進(jìn)行流量的分流再接到每臺處理設備進(jìn)行處理。這對單臺處理機的計算能力和網(wǎng)絡(luò )IO能力都提出了很高的要求。為此，專(zhuān)門(mén)研發(fā)出Flowfirm解決接入和分流的問(wèn)題，Netfirm、videospeed等多種硬件設備，來(lái)提升處理機的網(wǎng)絡(luò )流量處理能力，而隨著(zhù)這些手段的采用，也給傳統網(wǎng)監系統的建設帶了新的變化。
方案架構
骨干網(wǎng)流量監控系統方案分三個(gè)層次：前端一級分流設備將鏡像進(jìn)行處理，并根據一定原則均衡的分流到各個(gè)服務(wù)器；前端處理平臺，配置Netfirm的前端處理探針對流量進(jìn)行處理，為考慮到未來(lái)業(yè)務(wù)的擴展，前端探針將處理不了的流量轉發(fā)到后端；前端二級處理平臺，配置高速協(xié)處理卡的網(wǎng)絡(luò )處理一體機對這些數據進(jìn)行更深入的挖掘和分析。同時(shí)分流設備具有流量復制功能，能夠將特定流量復制并傳輸到其他地方的監控網(wǎng)絡(luò )使用。
系統架構如下：
方案特色
Flowfirm - S流量接入分流設備
骨干網(wǎng)中的流量有很多種類(lèi)，有效的數據包、無(wú)效的數據包等，如果直接交給服務(wù)器處理平臺進(jìn)行處理，不僅增加服務(wù)器處理的壓力，而且增加整個(gè)鏈路的壓力，同時(shí)對軟件業(yè)務(wù)系統的包處理和分類(lèi)能力是一個(gè)很大考驗。而Flowfirm - S正式在這種背景下，將骨干網(wǎng)的大流量進(jìn)行匯聚、初步分析和處理，對業(yè)務(wù)“關(guān)心”的流量甄別并交給后續處理系統。
Flowfirm - S是基于國際開(kāi)放電信設備標準ATCA規范開(kāi)發(fā)的，針對通信運營(yíng)商、各級政府安全單位需求的專(zhuān)用電信級綜合流量設備，主要用于各級POS/SDH及以太網(wǎng)線(xiàn)路進(jìn)行流量的采集、過(guò)濾、匯聚分流以及其它復雜的流量規劃功能。
Flowfirm - S的主要功能包括：
1) 流量接入：支持各種接口子卡，支持OC3，OC12，OC48，OC192，GE，XE的單模，多模光纖鏈路，可接入40G POS、10G POS、10GE、2.5G POS、622M POS、155M POS、GE/FE多種流量，可支持混合接入、高密度接入，單板接入密度達到1路40G 或4路10G或16路2.5G。支持單纖的收和發(fā)。
2) 交換協(xié)議支持：主要針對POS接口，支持基于SDH/SONET的以太，PPP和CHDLC封裝的報文；支持MPLS封裝，VLAN封裝的IPV4/IPV6格式報文，并可剝離；通過(guò)解析HDLC、PPP、MPLS等封裝，提取IP數據包，再進(jìn)行后續處理。兼容各種底層封裝參數。
3) ACL（數據包匹配分類(lèi)）：支持基于五元組的靈活和掩碼規則；支持基于載荷的指定偏移的帶掩碼數據匹配擴展ACL功能（DPI功能）；同時(shí)支持IPV4和IPV6功能；支持用戶(hù)定義的六種靈活五元組規則200萬(wàn)條（IPV4），100萬(wàn)條（IPV6）；支持掩碼規則60萬(wàn)（IPV4），20萬(wàn)（IPV6）；支持不同規則種類(lèi)間的32種優(yōu)先級；支持標準ACL和擴展ACL之間的綁定；分類(lèi)規則按規則集方式進(jìn)行管理，用戶(hù)可創(chuàng )建并設置多個(gè)規則集，并將規則集綁定到多個(gè)接口之上。
4) 流量過(guò)濾、匯聚、負載均衡分發(fā)：對命中ACL規則的報文，支持丟棄，透傳，分流轉發(fā)，流量復制，報文截斷，采樣分流；報文的分流支持多種負載分擔算法（輪詢(xún)、Hash、五元組等算法）；分流組內節點(diǎn)可基于硬件端口，也可以基于后端服務(wù)器IP地址；動(dòng)態(tài)監測后端服務(wù)器狀態(tài)，或者端口狀態(tài)，動(dòng)態(tài)更新分流組，并盡可能保證同源同宿；支持32個(gè)分流組，組內最多支持256個(gè)節點(diǎn)；輸出報文的源MAC支持信息攜帶功能。
5) 流量復制：支持同一規則的流量復制：即為符合某條規則的流量指定復制方式，在不影響這條流量的分發(fā)策略的前提下，可以將流量復制到另一個(gè)或一批GE/10GE口輸出。
6) 數據包再封裝：對處理的IP包進(jìn)行最后的符合標準以太協(xié)議的再封裝，并可攜帶輸入接口等信息；支持對輸出數據包進(jìn)行截短、提取有用頭部。
7) 網(wǎng)管功能：支持SNMP、Telnet和ssh等網(wǎng)管功能。
圖 Flowfirm - S分流設備
Flowfirm - S具有以下特性：
1) 適應性強
針對低鏈路密度的監控提供高性?xún)r(jià)比的單板或雙板方案，針對高鏈路密度的應用提供基于背板交換的大容量解決方案。
2) 電信級標準
基于電信級開(kāi)放平臺的最高標準ATCA，提供基于標準的高可靠性產(chǎn)品，具有優(yōu)秀的芯片/刀片異構能力，可按需配置網(wǎng)絡(luò )處理刀片、通用計算刀片、各種專(zhuān)業(yè)業(yè)務(wù)刀片（如DSP語(yǔ)音通信刀片等）。保護用戶(hù)投資。
3) 全硬件轉發(fā)
多引擎流水線(xiàn)的硬件處理流程保證數據的線(xiàn)速轉發(fā)。包處理流水線(xiàn)每一個(gè)部分都有多個(gè)引擎工作。
4) 應用多樣性
適應高復雜度的過(guò)濾匹配和應用處理需求，面向不斷復雜化的新興網(wǎng)絡(luò )應用。
5) 高性?xún)r(jià)比
專(zhuān)門(mén)優(yōu)化設計的分流設備。能夠根據用戶(hù)實(shí)際的需求和網(wǎng)絡(luò )環(huán)境進(jìn)行功能定制化。
6) 數據處理功能
包含多種接口的流量接入、協(xié)議轉換、數據包匹配分類(lèi)、流量過(guò)濾、流量匯聚分發(fā)和負載均衡、流量復制、數據包再封裝等。
7) 支持設備級聯(lián)擴展
突破單設備系統的機箱槽位容量，并可按需擴展級聯(lián)，為支持未來(lái)網(wǎng)絡(luò )發(fā)展提供極大的空間。
圖 Flowfirm - S設備級聯(lián)
利用Netfirm提高單機處理能力
Netfirm是專(zhuān)門(mén)針對網(wǎng)絡(luò )流量監控項目而研發(fā)的一塊高性能智能網(wǎng)絡(luò )加速卡。Netfirm基于FPGA實(shí)現，內置4G大內存做數據處理，利用Netfirm可以實(shí)現流量高速接入、卸載cpu負載等功能，是在當前越來(lái)越大的網(wǎng)絡(luò )流量的情況下，解決高網(wǎng)絡(luò )流量帶來(lái)的眾多問(wèn)題的利器。
圖Netfirm智能加速卡
Netfirm給網(wǎng)監系統帶來(lái)的優(yōu)勢包括：
1）0% CPU消耗，100% 數據包捕獲
普通的網(wǎng)卡在接收數據過(guò)程中需要耗費大量的cpu資源，并且隨著(zhù)網(wǎng)絡(luò )流量的增大，這種消耗變得非?？捎^(guān)以至于無(wú)法100%將網(wǎng)絡(luò )數據獲取下來(lái)，對業(yè)務(wù)系統的監控效果造成影響。由于這個(gè)原因，傳統的網(wǎng)監應用的單機處理能力只能做到500Mbps左右。Netfirm智能加速卡將整個(gè)數據接收過(guò)程由硬件自動(dòng)實(shí)現，從而在不消耗任何CPU資源的同時(shí)，保證了數據完全獲取，即使處理10Gbps的流量也沒(méi)有任何的丟包。
2）分流技術(shù)充分發(fā)揮每個(gè)CPU的計算能力
隨著(zhù)CPU技術(shù)從提高主頻轉向多核技術(shù)，如何利用好這么多的CPU核成為網(wǎng)監系統需要解決的重要問(wèn)題。Netfirm針對網(wǎng)監系統的特點(diǎn)，將接收的流量根據源目的IP信息進(jìn)行分流，使得處理負載在多個(gè)CPU核間進(jìn)行均衡，從而充分發(fā)揮CPU多核的處理能力。
3）靈活豐富的過(guò)濾規則進(jìn)一步降低CPU負載
提高單機處理能力的另一個(gè)思路是將簡(jiǎn)單不需要處理的流量過(guò)濾掉，這樣就可以將主機資源全部集中到有效流量的處理上來(lái)?；谶@一思路，Netfirm可以配置200K的IP過(guò)濾規則，并配置針對不同鏈接進(jìn)行丟棄、轉發(fā)、標記等多種動(dòng)作，從而進(jìn)一步提高單機處理能力。
4）支持多個(gè)應用無(wú)縫融合，提高資源利用率，便于未來(lái)應用的擴展
在網(wǎng)監系統建設的初期，基本都是采用一套應用一套硬件的建設方法。但隨著(zhù)系統的逐漸成熟，用戶(hù)需要更多的功能更多的應用時(shí)，再想使用這種方法時(shí)，就會(huì )遇到機房空間、硬件采購成本等一系列問(wèn)題。最好的實(shí)現方式是在一套硬件上運行多種不同的應用業(yè)務(wù)，并且二者間不相互影響，這在傳統的網(wǎng)監系統中是無(wú)法實(shí)現的。但Netfirm則從設計之初就考慮到網(wǎng)監系統業(yè)務(wù)擴展的可能性，支持多個(gè)不同應用同時(shí)從Netfirm取數據，并保證其間的隔離性，從而大大降低了網(wǎng)監系統業(yè)務(wù)擴展中的成本。
5）基于通用接口和專(zhuān)用接口的API，便于應用的移植
目前很多網(wǎng)監系統的應用在研發(fā)過(guò)程中是以普通網(wǎng)卡為基礎開(kāi)發(fā)的，考慮到這一點(diǎn)，Netfirm支持與普通網(wǎng)卡一樣的使用方式，并且提供相同的訪(fǎng)問(wèn)接口，只有在需要使用Netfirm附加功能時(shí)才需要使用專(zhuān)用接口，從而大大縮短了網(wǎng)監應用的移植周期。
基于Videospeed的二級數據處理
Videospeed協(xié)處理卡是針對傳統網(wǎng)監系統中難以處理的諸如音視頻流量等非文本數據的監控所研發(fā)出的一塊基于眾核技術(shù)的協(xié)處理卡。該卡可以提供高速并行處理能力，可以支持多路音視頻碼流的編解碼處理，從而對過(guò)去普通網(wǎng)監系統處理不了的音視頻流量進(jìn)行處理。 也可以作為通用計算加速平臺，用于其它特定流量的深度數據處理。
圖 Videospeed加速卡
Videospeed協(xié)處理卡具有以下特性：
1) 基于眾核技術(shù)：采用Tilera眾核處理器，大大簡(jiǎn)化系統架構， 成本，功耗及PCB板面積，可以根據單核處理能力，精確地分配資源以實(shí)現所規劃的功能，達到優(yōu)化性能和節省功耗。
2) 處理能力強大：完成一定流量音視頻混合流的解碼，目前能夠支持400MB以上的流量
3) 支持多種主流視頻格式：主流的視頻格式 H264，H263，Mpeg1/2，Mpeg4，vp6，flv，asf，avi等
4) 支持矢量運算：某些矢量運算等函數運算加速
高性能網(wǎng)絡(luò )處理一體機
高性能網(wǎng)絡(luò )處理一體機可以將骨干網(wǎng)監控方案中的流量處理探針和二級處理平臺集成為一臺一體機，單臺一體機提供10片雙路多核處理機的計算能力，配置6片Netfirm，可以支持24根GE，或者6根10GE流量的監控。配置4片videospeed協(xié)處理卡，可以進(jìn)行這些流量的二級處理。也可以全部配置Netfirm進(jìn)行10GE流量的處理，最多提供單臺一體機100G流量的處理能力，具有極高的性?xún)r(jià)比。
版權所有：杭州天迪工控技術(shù)股份有限公司 地址：杭州市拱墅區科技工業(yè)園區康樂(lè )路11號A3棟
浙公網(wǎng)安備 33010602004930 浙ICP備11043394號
