异常流量分析与响应系统主要用于骨干网络的监控检测和分析，通过对骨干网络流量信息和系统信息的收集，采用多种方法进行分析、检测，实时监控、检测骨干网络中DoS/DDoS攻击、蠕虫病毒、垃圾邮件及其他网络异常事件，提取异常特征，并启动报警和响应系统进行过滤、阻断和防御。那么异常流量分析与响应系统的与类似产品相比又有哪些技术亮点，以下将予以简要阐述。
一、 什么是异常流量分析
1.1 异常流量分析技术概念
异常流量分析(Traffic Analyzer & Response System)技术是一种流量检测及分析技术，并有机结合了传统网络管理部分功能，主要面向运营商承载网络或大型行业用户骨干链路中的TCP/IP流量进行定性分析并报告当前流量分布中的异常情况。异常流量分析技术采用旁路式流量摘要提取技术，通过对帧数、帧长、协议、端口、标志位、IP路由、物理路径、CPU/RAM消耗、带宽占用等直接特征的监测，基于时间、拓扑、节点等统计分析手段，建立现行流量分布数学模型(Current Traffic Pattern)，并结合已知模型(Unified Traffic Pattern)进行实时比对分析，以期发现统计意义上的流量分布异常情况亦即流量图式偏离(Pattern Deviation)。
针对每种比对结果，异常流量分析系统都力争将其落在已知的异常流量模型(Abnormity Model)范围中，并以此给出告警解释或进一步提供智能化的策略响应。
以上所提及的各类流量模型是异常流量分析系统的运算工具，而系统的工作对象是目标系统的流量特征数据。
同时，异常流量分析技术体现出更多的网络管理职能色彩，例如网络接入控制、IP路由导出及策略路由注入、CAM信息检索、网络拓扑发现、网元性能监控等，使之功能不再局限在针对特定信息资产的被动防护安全范畴，而逐渐形成着眼于全网带宽资源、网络访问行为统计分布、网元状态及性能等网络基础特征的监测分析并最终提供有效的服务质量保证支撑手段。
1.2 异常流量分析系统架构
1.2.1 功能模块
作为一种流量分析系统，异常流量分析技术在架构上通常分为流量收集、特征提取/建模、模式分析、策略响应多个功能模块，而在工程实现中主要以收集器+控制器两部分物理实体的组成结构。
> 收集器(Collector)：主要完成流量收集及特征提取/建模两部分职能。该部分属于系统的低层模块，是系统面向网元设备的接口单元并进行数据上收和格式转换、特征提取等预处理操作，处理逻辑较为简单。该部分对系统整体的影响主要反映在协议支持数量和处理性能两方面；
> 控制器(Controller)：主要完成模式分析、策略响应并最终提供人机交互GUI界面。控制器Controller是异常流量分析系统中逻辑运算高度集中的单元部分，在收集器上报数据的基础上进行行为判别及智能响应职能。该部分对系统整体的影响主要存在于行为判别准确性、策略响应AI机制和人机交互友好程度几个方面。
1.2.2 产品实现
由于异常流量分析系统庞大的复杂逻辑运算特点以及频繁的实时升级更新需求，系统通常采用经充分优化、加固的高端通用工作站硬件平台，并依赖软件系统实现其全部逻辑。
无论Arbor PeakFlow、东软NTars或者GenieATM，异常流量分析技术的产品实现均采用了Collector与Controller合并在一套硬件系统中的整机灌装形式，系统将通过许可证管理和管理员配置而按需切换至Collector、Controller或者Collector + Controller的工作状态。
依赖于Collector与Controller的组合优势，异常流量分析系统能够平滑实现从行业客户网络到大型运营商承载网络的升级扩容。Controller将作为统一的管理分析单元同时实现对多个Collector流量模型的分析和告警，并提供集中、一致的报警处理界面。
1.2.3 部署方式
异常流量分析系统可以采用两种部署方式：
1) Collector + Controller合二为一的单机部署方式。该方式可满足大部分行业用户和运营商网络的流量检测需求，异常流量分析系统将在一套硬件体系中合并实现Collector和Controller两种职能；
2) Controller + N*Collector的分布式部署方式。在该方式中，异常流量分析系统将按照“一拖多”的方式，由1台Controller管理多个Collector系统，多个Collector相互独立，可广泛分布在网络中各关键节点周围进行数据采集/抽样和建模，并向Controller提交流量统计信息。Controller将作为统一控制系统对所有Collector的流量信息进行集中分析和处理。对于超大型运营商承载网，该方式可通过多层次、分布式的结构满足对多个路由设备、总流量高达数百G bps的骨干链路提供实时流量分析和异常检测，并且抽样率不低于1/100；
3) Collector可以就近部署在检测目标设备周边，采用标准的NetFlow、SNMP、Cflowd、Sflow等协议完成数据采集。Controller一般可选择部署在网管网段机房位置，从而便于分析操作和数据库维护等。
异常流量分析系统在网络中采用何种部署方式通常取决于以下几个因素：
a) 网络规模所决定的检测目标链路总Session数量；
b) Flow抽样率；
c) 异常流量分析系统的处理性能；
d) 检测目标设备的物理/拓扑位置；
e) 异常流量分析系统与目标设备之间的带宽状况。
1.3 相关技术依赖条件
异常流量分析系统面向超大型网络骨干链路提供实时监控分析的目标定位，决定了其不可能采用传统检测系统(如IDS)常用的数据收集方式(SPAN)，而且系统所覆盖的网络管理部分功能也决定了其必须引入网元状态监控机制。因此，异常流量分析系统需要检测目标网元提供更多的协议支持，如：
二、 异常流量分析技术带来什么
异常流量分析系统的功能定位是针对高带宽链路提供实时的流量统计及分析，并在此基础上引入异常行为判别、协议还原分析、蠕虫/垃圾邮件防范、攻击防护、网络管理等诸多功能。所以，异常流量分析技术有机融合了多种传统安全设备的经典功能并发挥出综合性优势，同时也由于这种功能层面上的覆盖而与类似技术产生竞争。
2.1 哪些技术较为类似
由于功能类似而与异常流量分析系统产生技术竞争的同类产品至少包括：
(1) 检测审计类：以IDS系统为代表；
(2) 防护响应类：以防火墙为代表；
(3) 网络管理类：以主流网管系统为代表；
2.1.1 检测审计类
IDS入侵检测系统与异常流量分析系统相似度最高，但在应用定位方面却存在天壤之别。IDS通过流量镜像对链路原始数据帧进行全盘复制而获得数据，并依赖已知攻击/病毒特征库对流量进行比对，完全匹配的比对结果将被视为一次“检测命中”并产生报警（尽管这种“命中”更大程度上取决于事件特征定义的准确性）。与异常流量分析系统相比而言，IDS存在以下几大弊病：
> IDS通过流量镜像实现数据采集的工作方式决定了其无法解决运营商承载网高带宽流量的实时监测；
> IDS特征匹配检测方式的根本原理是“匹配成功为非法，否则为正常”，因此无法解决对未知攻击方式或者异常访问行为检测的难题；
> IDS是纯粹的检测设备，除了能够针对TCP会话发送EST报文或与防火墙联动之外，再无其他有效的反制/响应措施；
> IDS缺乏对关键网元性能的监控，无法从设备层面提供服务质量保证SLA支撑；
> IDS无法对攻击行为进行准确溯源，即便是分布密度很高的IDS探测引擎集群也难以提供异常行为的物理端口定位。
正是由于上述因素的存在，在类似于运营商承载网或者大型行业用户骨干网络的高端用户市场中，IDS极少得到用户认可，因此给异常流量分析系统的推广留出广阔的市场空间。
2.1.2 防护响应类
防火墙是典型的访问控制设备，通过在安全区域边界点上的跨接，在转发数据包的过程中将根据既定策略进行Permit/Deny决策。防火墙系统消耗了过多的机器效率在报文转发上，因此甚至无法实现类似IDS水平的检测能力。
在与异常流量分析系统的竞争中，防火墙的弱点主要体现在以下几方面：
> 作为跨接式的网关设备，防火墙难以提供>1G的高带宽链路的线速吞吐和较低延迟处理能力；
> 防火墙端口类型较为单一，最常见的都是基于802.3系列的以太接口，从而无法直接部署到>1G的高带宽链路中(如SDH、POS)；
> 由于防火墙基于报文转发的访问控制工作模式，整机系统的MTBF/MTTF指标和策略配置准确性都将直接降低部署位置线路的稳定性，这对于高度强调服务质量保证的承载类网络是难以接受的；
> 防火墙针对指定链路进行专项防护。随着网络规模的扩大，防火墙部署成本将线性增加，无法为系统扩容提供高性价比的支持；
> 同时，防火墙缺乏全局观念，无法将全网各位置的类似事件进行关联分析；
> 防火墙基本策略路线为“除非显式允许，否则缺省禁止”，在贴近防护目标的边界点上较为适用，而在骨干网络中毫无用途。
2.1.3 网络管理类
网络管理类产品当以各大设备厂商提供的网络管理系统为代表，基于SNMP协议实现对各网元设备的监控和管理，但仅在管理相同品牌设备时效果较好。网管系统作为网元设备的集中管理系统，与异常流量分析系统相比较，存在以下差异：
> 网管系统管理的是设备，而非流量；
> 网管系统关注的是网元节点的工作状态和配置，而不是各设备正在传输的流量的合法性；
> 网管系统的效果只有在管理相同品牌网络设备时方可达到较好效果，即存在较强的品牌依赖性，无法有效兼容其他品牌；
> 网管系统几乎没有安全方面的概念和考虑。
2.2 异常流量分析的技术优势
异常流量分析系统结合了各典型技术的固有优势，并通过创新的技术架构实现了显著超越前者的安全防护收益，为大型行业网络尤其是运营商承载网络提供崭新的、高效的异常流量分析与响应的安全解决思路。
异常流量分析系统的技术优势至少在以下几个方面得到体现：
1) 高效数据采集机制：综合采用FLOW、SNMP、SPAN数据采集技术和带外数据传输机制，能够透明部署在大型运营商承载网省级骨干出口链路上，对原有系统的稳定性和性能不会造成可察觉的负面影响；
2) 良好的兼容性和扩展能力：基于行业标准的数据采集协议和Collector + Controller的方案架构，能够提供对不同品牌设备良好的兼容能力，并可以较小代价实现系统的扩充升级，有效保护客户既有投资；
3) 流量趋势预警：实时监控、分析网络的通信流量情况，及时提供关于流量变化趋势的报表，显示网络运行状况。系统可通过缺省或定制的预警阈值和流量基线及时报警并告知负责人员；
4) 异常行为判别：实时检测因大量数据包的泛滥式攻击造成的网络流量异常，包括网络中的DoS/DDoS攻击、蠕虫病毒、大量的垃圾邮件等异常流量；
5) 异常行为溯源：通过异常行为特征信息和IP路由、端口CAM信息关联分析，可将异常流量源头准确定位到网元设备物理端口级别上，为实施针对性的防护响应提供明确指引；
6) 应用层攻击检测：采用数据流智能重组、特征检测、协议分析相结合的检测方法，根据强大的攻击特征库检测各种攻击，并提供攻击报告和补救建议措施；
7) 应用层行为检测：采用应用层内容检测、协议解码分析、行为分析等多种检测技术，实现对网络通信行为的检测分析，可检测敏感信息越界传输和大部分P2P流量发生；
8) 通信服务质量实时监控：通过对网络设备和网络流量的实时监控，提供多种详细的设备、系统、带宽资源占用情况和服务进程响应情况的图形和报表显示，便于管理员了解和掌握全网运行状况和通信服务质量，保证关键业务安全稳定的正常运行；
9) 攻击实时响应：对于检测到的异常流量，将通过声光、Syslog、Email、SNMP Trap等进行报警，并可将异常流量隔离进行重点监控和深度检测，如调整ACL、黑洞路由、防火墙、防垃圾邮件系统等安全设备对各种异常流量进行防御等；
10) 网络信息审计：通过数据挖掘和数据仓库，对于网络流量的检测、分析和响应形成完整的网络审计日志，便于管理员对骨干网络运行情况进行全面地监控、记录、审计和重放，为网络策略优化提供数字依据。
三、 谁更需要异常流量分析
所谓高端网络是指以提供网络骨干传输为主导业务的承载类网络，主要包括电信运营商承载网、地市以上级别城域网和超大型行业性网络等。高端网络具备显著区别于普通网络的特点，主要表现在：
> 高端网络不直接面向桌面系统提供网络接入服务，而是面向特定范围内一系列的客户整体网络系统统一的提供宽带接入；
> 高端网络一般没有显著的计算资源存在，难以进行明确的访问窗口定义，因此无法设定各种显式的访问控制规则；
> 高端网络关注的是如何实现客户所要求的服务质量承诺，而这种服务质量的首要特征是带宽和响应速度；
> 高端网络几乎不关注其接入用户究竟在传输什么样的应用层内容；
> 高端网络是Internet概念的主要实现载体，是各接入客户网络云团之间的唯一互联路径。
3.1 高端网络面临流量监测难题
在我国电信行业中，运营商业务承载类网络是高端网络的主要代表。而随着业务系统的逐年扩大，部分大型行业客户的网络系统也越来越多的体现出高端网络的特征，甚至包括电信运营商围绕承载网络而建设的部分周边支撑系统类网络的骨干区域也逐步加入到高端网络阵营。
高端网络由于其独有的特点决定了其无法按照一般信息系统的安全建设思路进行安全防护体系建设，而完全没有安全防护的高端网络也同时失去了面向客户提供合格服务质量的基础保障：
> 高端网络最根本的运维要点在于如何向接入用户网络提供满足要求的服务质量承诺，尤其是带宽和响应延迟指标。但是，接入用户网络是作为一个完全的网络对等体出现的，高端网络无法确定该部分网络区域究竟需要什么样的访问控制策略，因此在接入链路近端(高端网络侧)无法设置访问控制点；
> 传统的安全建设都是在远端的接入网络内部(客户网络)进行的，通常由接入单位出资建设并管理。相应的，其根本宗旨也仅局限于如何保障该接入网络不受来自其他网络的攻击，而从未考虑过(也无义务考虑)如何防范该接入端网络侵害高端网络所连接的其他网络部分；
> 接入用户网络除了发起正常业务流量之外，各类桌面系统也同时发出大量随机流量，如仅用作个人通信的P2P流量、易感蠕虫病毒的传播流量、吞噬带宽的BT类文件传输流量等，这些流量通常与接入用户网络应用业务无关。在这种情况下，接入用户网络发出的网络流量图式是非常不确定的。高端网络难以获知哪些流量是正常流量、哪些流量是不受欢迎的垃圾流量；
> 高端网络的实际带宽远远小于所有接入用户网络的承诺带宽总和。因此，当接入用户网络链路充斥着大量垃圾流量的时候，高端网络的交换能力将受到直接挑战，这种情况对接入客户比较关注的正常业务服务质量将造成严重影响。这是高端网络在运行维护方面的主要矛盾；
> 同时，高端网络强调的是向接入用户网络提供高度稳定的网络带宽可用性，在高端网络区域边界点上进行访问控制设备、流量限制设备部署(如防火墙、流量管理设备)将直接降低高端网络系统整体的稳定性。因此，在高端网络上部署串联式控制设备是非常不明智的；
> 为保证高端网络有限的带宽资源能够被合理使用，高端网络运维人员迫切需要一种旁路式的流量检测分析系统来提供较为直观的带宽占用情况监控能力，并且该系统能够将流量分析、应用检测、行为判定等特征与网络运行管理传统功能高度关联，从安全管理与网络管理两个层面多管齐下，以全局性的骨干网络运行维护视角为实现大范围的用户服务质量保证提供基础支撑；
> 然而，在异常流量分析技术出现之前，运维人员却不幸地发现已有的各种旁路监测系统根本无法满足高端网络的流量分析需求，如IDS系统无法提供高速链路流量实时分析处理能力和网络管理维护概念、网络管理系统缺乏应用层分析能力和异常行为检测能力等。
所以在异常流量分析响应技术出现之前，由于技术手段的缺乏，高端网络处在一种安全建设的空白期，正常业务流量与垃圾流量争用着骨干链路有限的带宽资源，并且因为垃圾流量的分布性特点又往往使之在这种竞争中占据了上风。
3.2 异常流量分析技术的适用性
应该说，异常流量分析技术几乎就是针对高端网络安全运行维护需要而量身定做的，正是这种应时而出的先天优势使之在高端网络流量监控方面呈现出高度的适用性：
1) 异常流量分析技术能够使网管人员不仅获知带宽正在被占用多少(如同常见的网管系统那样)，而且能够掌握带宽在何时被何人的何种应用占据了多大比例；
2) 异常流量分析技术把流量统计分析与应用层内容检测高效结合起来，通过科学的统计/抽样分析理论解决了处理性能对检测流量带宽的局限性，从而把安全防护体系从边缘接入区域扩展到骨干链路区域；
3) 异常流量分析技术不仅可以检测特定连接中是否承载非法内容，更能判别当前网络中所有会话彼此之间的分布比例是否合理。因此，异常流量分析技术已经实现了“从单一具体目标防护到全局运行状态监控”质的跨越；
4) 异常流量分析技术采用了驱动路由/交换设备的智能响应方式，通过分布式的控制手段避免了单一访问控制点对目标系统可用性的损害；
5) 异常流量分析技术在实现安全防护的同时，丝毫未降低目标网络的稳定性，对目标网络的性能也未产生可察觉的降低；
6) 异常流量分析技术是安全防护体系与网络管理体系的结合体，能够从网络全局而非单一网元的角度给出详细的统计分析和建议，是真正针对大网运维的安全系统。
由此可见，异常流量分析响应系统正是为填补高端网络安全防护空白而出现的新兴技术，充分满足目标网络对可用性、稳定性的高度要求，结合网络安全技术与网络管理技术，为高端网络的流量分析、行为判别、应用检测和合理响应给出完整的解决手段，将在运行维护部门向蠕虫蔓延、BT下载、P2P通信等高带宽消耗类访问行为的战斗中发挥不可替代的决定性作用。
异常流量分析响应系统不再仅仅作为安全管理的专用工具而出现，而逐渐在高端网络的运行维护管理中得到认同和运用。
东软网络安全 微信号：Neusoft_NetEye
