山东农信：网络全流量威胁检测及一体化防护系统

来源：山东农信 作者：马辉

一、项目背景及目标

随着信息系统建设速度不断加快，各类业务不断互联网化，面临的互联网安全风险日渐增加。2019年，山东省农村信用社联合社（以下简称山东省联社）针对互联网区域部署了安全运行监控平台，能够对互联网区域的网络攻击行为进行实时监测，但针对来自互联网的高级持续威胁攻击等类型的攻击行为监控分析力度不足。为此，2020年3月，山东省联社引入并部署了网络全流量威胁检测及一体化防护系统，该系统覆盖省联社互联网区、外联网络和内部网络，并延伸至各市分支网络，实现了“内外网数据全流量采集”、“安全威胁全方位检测”、“全省一体化安全防护”的“三全”目标。该系统在本年度公安部组织的国家级网络安全攻防演习中得到了实战检验，有效发挥了检测及防护网络攻击的作用，通过实时检测各类网络攻击，及时处置了安全风险隐患，实现了全省网络边界“零突破”，有效保障了各类信息系统的安全稳定运行。

二、技术创新点

网络全流量威胁检测及一体化防护系统采用大数据全流量采集技术，通过二级分布式部署方式，利用多节点分布式的流量探针和全省“1+17”（省+17个市级机构）的18个流量分析引擎，实现了省市两级内外网全网数据毫秒级安全威胁的检测，为网络攻击“秒级”处置提供了有效的技术支持。

三、技术实现特点

1、网络全流量数据采集

全流量数据采集方面应用了一系列关键机制来提高数据采集能力，采取镜像网络入口上下行数据，输入到实体机器做相关数据处理分析。优化了数据捕获方式和数据包处理性能，使之既能满足大流量安全场景下各类数据采集的完整性并将其存储，便于后续的安全取证和二次分析。

2、流量分析和协议还原

流量分析和数据还原使用的协议分析模块，支持HTTP（网页）、SMTP/POP3（邮件）等主流协议的高性能分析。

流量还原过程使用了多种技术，包括端口匹配、流量特征检测、行为特征分析。在网络协议发展的过程当中，已经形成了一系列的标准协议规范，其中规定了不同协议使用的端口，而很多广泛使用的应用程序虽然没有标准化，但已经形成了事实上的标准端口。端口匹配就是根据这些标准或非标准的对应关系，根据TCP/UDP的端口来识别应用。这种方式具有检测效率高的优点，弱点是容易被伪造，因此在端口检测的基础上，还需要增加一些特征检测的判断和分析，来进一步分析这部分数据。

3、流量特征检测

相对于端口，不同的应用程序使用的协议也存在大量的共性。这些共性就是所谓的流量特征。对于流量特征的识别，大致分为两种：一种是有标准协议的识别，标准协议规定了特有的消息、命令和状态迁移机制，通过分析应用层内的这些专有字段和状态，就可以精确可靠地识别这些协议；另一种是未公开协议的识别，一般需要通过逆向工程分析协议机制，直接或解密后通过报文流的特征字段来识别该通信流量。

4、行为特征检测

针对一些不便于还原的数据流量，该系统采用行为特征的方法进行分析。这种方法不试图分析出链接上面的数据，而是使用链接的统计特征，如连接数、单个IP的连接模式、上下行流量的比例、数据包发送频率等指标来区分应用类型。如网络电话应用通常语音数据报文长度较为稳定，发送频率较为恒定，P2P网络应用单IP的连接数多、每个连接的端口号都不同、文件共享数据包包长大而稳定等等，都是可以利用来进行应用特征检测的特征指标。

对互联网数据的识别是上述多种技术综合运用。流量分析和文件还原模块会使用这些技术，能够支持Web、文件、邮件等主流的协议，并能够支持具有中国本土特征的应用程序协议。通过对全流量数据的安全威胁分析检测，可以实现安全威胁防护规则的快速部署，从而达到对已知和未知网络安全威胁高效防护的目的。

四、项目过程管理

1、需求分析和概要设计

此阶段起始时间为2020年3月至2020年4月，其间完成了系统的需求分析和概要设计，对系统的各组成部分的功能、性能和安全性要求进行了评审，并完成了系统组件的招标。

2、系统详细设计

此阶段时间为2020年5月，其间完成了系统方案的设计，部署方案的设计和论证，以及系统组件对接和功能实现的测试。

3、系统部署、调试和上线前准备

此阶段起始时间为2020年6月至2020年7月，其间完成了两地三中心的系统部署调试、各市的全流量探针和未知威胁探针部署。在上线前分别对数据中心和分布式探针进行了多次联调。

4、系统上线试运行

此阶段起始时间为2020年08月至2020年09月中旬，其间完成了全流量系统的上线，并根据上线运行情况，进行了安全策略的调整。

系统上线后，组织全省安全管理员参加了系统原理、使用、故障处理的3次培训。

五、运营情况

1、全流量检测

全流量系统的全流量采集探针（UTS）主要实现流量数据的采集和解析工作，可以对流量数据进行逐层解码，将解析后的流量元数据上传至大数据平台，将原始流量pcap数据留存在本地硬盘。同时UTS集成入侵检测等各类安全检测手段，提供统一威胁检测能力。UTS采用旁路镜像模式接入到各市网络中，进行流量采集解析、存储、文件还原和威胁检测。此外UTS还与大数据分析平台进行联动，将检测结果以及元数据汇总到大数据分析平台进行综合分析、研判和展示。

2、未知威胁检测

未知威胁检测探针（TAC）使用动态和静态沙箱技术，提供恶意文件检测功能，基于检测引擎可以动态虚拟执行各类文件及应用程序，并将检测结果上报至大数据平台进行进一步处理和分析。TAC可以发现利用0day漏洞的APT攻击行为，保护网络免遭0day等攻击造成的各种风险，如敏感信息泄露、基础设施破坏等。

3、统一安全威胁分析

统一安全威胁分析平台(iSOP）是以安全运营为中心，智能化、全场景的统一安全管理平台。iSOP以大数据框架为基础，结合威胁情报系统，通过对攻防场景的机器学习、威胁建模、场景关联分析、异常行为分析以及安全编排自动化、可视化呈现等技术，建立和完善安全态势全面监控、安全威胁实时预警、资产及漏洞全生命周期管理、安全事故紧急响应能力，为安全运营提供可靠的信息数据支撑，实现了快速发现和分析安全问题，通过运维手段实现安全闭环管理。

4、一体化安全防护

利用统一安全威胁分析平台部署在内外网中分布式检测分析能力，以及在省联社不断提升的专业安全服务团队能力，系统提供的已知和未知安全事件的防护策略建议，可以快速现有安全防护设备上，实现全省安全防护策略的一体化部署。

六、项目成效

1、实现网络安全监测防护一体化

网络全流量威胁检测及一体化防护系统针对山东省联社全辖内外网全网原始数据流量进行了采集和检测，对流量信息进行深度还原、存储、查询和分析。通过融合传统的基于规则的检测技术、机器学习、威胁情报、虚拟沙箱和其他高级分析技术，系统的统一安全威胁分析平台对重要信息系统相关网络安全威胁风险进行告警。系统及时检测漏洞利用、病毒木马、网络攻击情况，及时发现网络安全事件线索，及时通报预警重大网络安全威胁，协助专业安全分析人员调查、防范和打击网络攻击等恶意行为，为安全运维管理人员了解当前安全现状、部署合理的一体化安全防护策略提供了关键依据。

2、全面提升安全管理水

网络全流量威胁检测及一体化防护系统的部署运行，将安全检测设备、安全分析设备、安全防护设备等原本独立部署运行的单元有机结合，打通了安全运维管理的信息流，在全面分析的基础上，剥离海量的低危攻击数据，构造攻击者行为画像，将潜在或发生的中高危网络行为检出，并给出防护方案。系统高效的分析预警能力，降低了安全运维人员的工作强度，提升了安全事件处理的准确度，提升了省联社网络安全综合管理水平。

3、符合人民银行态势感知统一监管要求

人民银行对各金融机构的安全事件上报提出了统一要求，网络全流量威胁检测及一体化防护系统在满足项目需求的情况下，为监管上报提供了符合上报标准的基础数据、分析数据、威胁情报和态势情况。系统的设计架构也为人行安全数据上报功能预留了接口，与人民银行金融态势感知系统进行了对接，在攻防演习中实际进行了上报和信息共享。

七、经验总结

通过网络全流量威胁检测及一体化防护系统的建设，实现了山东省联社网络安全工作“内外网数据全流量采集”、“安全威胁全方位检测”、“全省一体化安全防护”的“三全”目标，全面提升了安全管理水平，成为了安全管理的新抓手。