0x00、概述

2018年可以说是态势感知产品爆发性增长的一年，站在安全风口上要飞的节奏。从最开始的网络入侵检测系统， SIEM，SOC，到态势感知，产品的形态和功能有质的飞越，但是目前还面临着很多基础性的问题，例如：原始事件产生原子的告警事件，多个原子的告警事件产生一个攻击链威胁这个过程中，伴随着网络和终端的海量数据传输到大数据后台，带来和很大的传输网络的压力，传统的态势感知产品处理方法有些捉襟见肘（秒级处理）。这时候就要引进流处理的概念，在海量数据还没传输到后端之前要尽可能贴近原始日志产生源快速处理产生有价值的事件后

（毫秒级处理），再把事件传输到大数据后台做准实时的关联分析（秒/分钟级）。

0x01、实现手段

1、流计算引擎选型

目前使用比较多的是storm，spark streaming，Flink。在2015年以前的安全领域引入最多的storm，当时是因为它的实时处理能力得到了大家的认可，ms级，但是伴随着大规模应用，storm发现了一个严重的问题，如果要保存中间处理状态需要自己编写复杂的程序，对容错性架构本身没有提供太多的保证，我们曾经在DDoS检测程序中使用过相关的技术，我们发现数据的一致性等无法保证。同时它没有一个完整规则引擎算子有限，机器学习深度学习算法也不支持。更没有SQL高级API输入。2016年的时候，大部分流处理已经转到spark streaming平台上了。

spark 生态圈做的很好，包括spark streaming 流计算（其实是批计算），SparkSQL（高级API），Spark Mlib机器学习，容错方面也有相关的保障。进入2017年，低延时处理和流处理中间状态管理，编排复杂的处理过程的需求越来越多。这些优势从Flink1.5发布后这些问题都得到了很好的解决。同时实时特征提取，批流统一计算，也是

Flink另外一个优势。

2、算子丰富

数据预处理

  ·序列化

  ·标准化

  ·补齐缺省值

异常检测

  ·stochastic outlier selection algorithm

  ·attribute value frequency

  ·Isolation Forest 

  ·KSigma

  ·BoxPlot

NLP

 ·TFIDF

聚类

  ·kmeans

  ·Power iteration clustering (PIC) 幂迭代聚类

分类

  ·KNN

  ·Naive bayes

  ·Random Forest

  ·Multi-class Linear SVM

回归

  ·linear regression

模型预测

  ·静态模型预测

3.安全业务落地

我们可以优化我们的态势感知高级威胁检测架构为：

安全业务流程

(1)数据预处理部分

资产相关信息补齐

  ·以前使用Flume查数据库填写到kafka打入的数据流，有时我们发现进入到ES中的数据由于这个查询过程会增加延时。同时配合redis缓存技术。

聚合处理

  ·通过滑动窗口集合，调用WindowFunction函数处理集合规则。

告警去重处理

  ·可以使用双流join方式

告警事件关联研判

  ·例如，态势感知组件扫描器扫描到了一个Web漏洞，那么需要结合EDR上传上来的主机Web漏洞、基线检测结果、Web资产信息等做关联。才能最终确认。

(2)异常检测部分

DGA域名检测

  ·通过异常检测算法检测到孤群点，提取相关的域名

  ·Flink模型预测+查看Domain Ranking+窗口统计+历史状态统计等，做最终的判断。

DNS隐藏信道检测

  ·通过异常检测算法检测到孤群点，提取相关的域名

  ·Flink模型预测+查看Domain Ranking+窗口统计+历史状态统计等，做最终的判断。

SSL恶意流量检测

  ·NLP+分类算法等提取特征

  ·Flink加载深度学习模型预测+历史状态统计等，做最终的判断。

3、ML&AI算法预测

网络层恶意文件下载检测

  ·NIDS文件还原

  ·通过沙箱获取APICall数据，通过算子提取特征。

  ·Flink通过模型预测。

主机层恶意文件检测

  ·EDR端点提供的APICall数据，通过算子提取特征。

  ·Flink通过模型预测。

web攻击检测

  ·http/s数据流，通过算子提取特征。

  ·Flink通过模型预测。

0x02、总结

社会在进度，科技在发展，我相信在未来的态势感知产品升级中，Flink流处理会起到核心的作用，让你的安全大脑更聪明。