导语:云态势感知产品,使用大数据技术关联分析数据快速整合NIDS(包含sandbox)、HIDS、EDR、WAF、DDoS、Scanner的数据,让用户更清晰的了解云上资产的安全现状,做出下一步安全整改动作。
0x00、业务需求
· 产品调研
最近由于工作关系关注了市面上的态势感知产品,总结如下:
· 云态势感知产品定位
使用大数据技术关联分析数据快速整合NIDS(包含sandbox)、HIDS、EDR、WAF、DDoS、Scanner的数据,让用户更清晰的了解云上资产的安全现状,做出下一步安全整改动作。
0x01、关键技术
· 沙箱技术
沙箱技术是提升网络威胁检测引擎的最有效的技术,一般在云上的用户是不愿意的安装EDR或者主机安全产品,因为侵入性太强,同时,在业务系统发现问题的时候,排查排除增加用户工作量。
· 大数据实时关联分析机器学习技术
在云使用场景下,一般需要抓取流量都是海量的(单个数据中心需要几百G),也就是说NIDS会产生海量的日志,需要做聚类分析,同时需要流量异常检测能力,这需要使用机器学习技术来判断。
今天和大家探讨一下高级沙箱技术。
沙箱集群架构设计
1、由于云数据中心每个机房都是100G+,所以需要NTA获取流量的时候,需要做一些过滤。对于业务系统有用的必须分析的二进制文件,需要上传到沙箱分析集群。根据常规模式评估,正常的沙箱分析流量会占据1%整体流量,所以,需要在本地做一下初步的判断,尽量减少上传流量。
2、需要有分布式处理能力
(1)提供WebConsole管理
(2)提供REST API批量处理分析任务
worker
· 推送分析文件 /tasks/create/file
· 获得分析状态 /tasks/status
· 获得分析结果 /tasks/report -> json
· 获得内存dump文件 /memory/get
· 获得抓包文件 /pcap/get
· 获取guest沙箱状态 /machines/list
manager
· 注册/获得基本信息 /api/node
· 任务状态查询 /api/task
· 获取报告 /api/report/<id>/<format>
3、高级沙箱需要具备以下能力:
· 能分析运行在windows2k8、2012、ubuntu Server、Centos Server的可执行文件PE(exe、dll、msi、bin(shellcode))、linux文件(elf)、office文档(doc、docx、docm、xls、xlsm、xlsx、ppt、pptm、pptx)、pdf文件、URLs、HTML文件、各种脚本(PHP、VBA、PostScript File、Python、powershell(ps1)、WindowsScriptFile(wsf)、javascript(hta、js))、jar包、zip文件
· 具备跟踪Windows API调用能力
部分危险行为API
· 具备跟踪Linux API调用能力
· 具备存储和分析网络通信能力
通过dpkt从PCAP文件中提取DNS 通讯, domains, IPs信息, HTTP 请求。
· 使用YARA对受感染的虚拟化系统进行高级内存分析
这个功能是对付那些fileless的恶意软件。
· 使用YARA对受感染的虚拟化系统进行静态文件扫描
通过静态方法对比已知恶意软件特征。
· 高级webshell分析功能
通过创建web服务运行上传的脚本,IIS、Tomcat、php
0x02、未来展望
畅想一下未来:如果现有技术无法分析,但是还有些疑似,那么我们采用蜜罐技术来处理。通过DevOps方法快速部署的公有云动态蜜罐环境,长期监控对外连接,一般APT攻击潜伏时间都会很长,在养马场中放养,或者通过机器学习方法对其周期性扫描。