0x00、公有云厂商安全威胁

Q:公有云厂商为什么要建立威胁情报系统？威胁情报的价值在哪里？我们不做会有什么损失？威胁情报交换能给我们带来什么附加价值？

各个问题都很尖锐~

业务层面

根据自己的公有云厂商业务特点（提供云主机、云存储、云数据库、云GPU），建立威胁情报体系，那么面临的威胁 主要集中在DDoS攻击和主机入侵。

1、有效的做到事中及时防御，降低用户遭受DDoS攻击总量，减少DDoS用户攻击成本。

2、DDoS攻击溯源，云安全增值服务。

3、内部针对性攻击事件溯源。

技术层面

1、历史追溯：通过聚类关联分析内部外部历史威胁情报数据，获得攻击事件

domain/IP/URL/samples/analysis report

2、及时阻断：能够对DDoS发起点（botnet主控端）、中间过程发起点（反射源/匿名代理TORP2P节点等）、到达点（直接攻击源），造成攻击无法持续。侧重点在前两部分。

3、DDoS溯源，找到攻击源关联的Domain注册信息、Email信息、云主机注册信息等任何通过身份信息注册的账号。

下面是一些攻击证据展示：

Threat Top 1、公有云平台业务系统和云上用户遭受DDoS攻击

Proof 1、没一天停过，在黑洞之前，攻击峰值总和维持在30G左右。

Proof 2、云上用户占比7成、云基础设施占3成。

Threat Top 2、云内主机中马

Proof 1、对外DDoS攻击告警

Proof 2、CDN网络遭受入侵

Proof3、DGA DNS Analytics解析监控，Xshell 感染终端监控。

当然还有很多威胁，我就不在这里赘述。

0x01、如何自建公有云厂商威胁情报系统

首先，需要建立一整套威胁情报生命周期管理：

在保护云上用户的隐私的前提下，有效的建立一套自动化情报收集、情报处理（特征提取工程、关联分析）、情报应用（抗D 、云WAF黑白名单、云基础设施定向攻击排查），以及情报共享（与拥有情报数据资源的厂商交换数据）。

其次，在带宽和服务器资源允许的情况下，使用DPI/DFI技术、蜜罐技术、沙箱技术建立自身的威胁情报收集系统，提供高质量的威胁情报（注意，是带证据的IOC情报）、通过AI技术提高检测速度和降低误报率。

自动化情报收集系统

@1、云数据中心NIDS部署，集中收集日志。

Suricata IDS + ELK

网络拓扑

主要关注：shellcode监控、mysqlRDPSSH登陆尝试、木马活动、DoS等

@2、DDoS攻击数据源抓取

先说说技术方案选型问题，考虑到性能问题，主要是抓5元组的数据，那么DPI方案不成，xflow流量采样的方式（例如：绿盟NTA解决方案），1：1000抓包，在高速DDoS攻击的时候是无法抓到瞬间脉冲攻击包的。好吧，只有自己开发基于DPDK的数据统计和抓包系统。

@3、Web威胁数据收集

基础架构是复用DDoS Pcapdump服务器，根据云平台基础设施IP列表，抓取7层数据，存储到redis，然后汇总到数据仓库中。

@4、云平台基础设施服务器部署HIDS系统

有两种选择，一是使用传统的HIDS软件的方式收集，二是使用EDR机器学习的方法分析，我选择了后者。

详细描述一下在这一领域的实践之路：

1、训练数据选择

选择800万良性文件和400万恶意文件进行训练，Top 10 恶意家族是：

2、训练模型选择

（1）    通过https://github.com/erocarrera/pefile.git（VirusTotal和Cuckoo都在使用）访问PE文件（PE头信息、PE导入表、PE导出表、PE节数据、PE版本信息） 哈希所有部分。

Linux系统、MacOSX系统使用https://github.com/lief-project/LIEF 获取 elf文件和MachO文件头相关信息，并且哈希。

（2）    通过对准确率、漏报率、性能、模型大小、查询执行时间的评估来选择模型。（目前使用sklearn库，将来打算移植到ML Toolkit for TensorFlow，听说训练速度可以提升50倍，毕竟GPU越来越吊）

通过对文件判断的malware分类结果上报数据，提供基于主机的威胁情报源。

@5、公网蜜罐系统

有关公网蜜罐有以下思考：

（1）需要用高交互蜜罐，直接修改真实服务加入log记录系统，当然log系统尽量做的隐藏些。

蜜罐本身有一定威胁情报产生能力（降低误报（3次以上持续攻击才记录）、生成有价值情报（例如：web蜜罐产生sqlixss等情报数据，而不是只收集access log））

（2）有一套完善的基础服务管理系统，可以快速部署和销毁蜜罐系统，符合大规模部署要求。

情报处理

其实就是建立一套威胁溯源平台，平台提供查询接口，提供一个可视化的关系图图，例如：

单更重要的情报逻辑处理部分：

这里以DDoS一次攻击事件分析说起：

（1）    首先通过自动化收集系统中收集到的攻击数据：

Data1：{攻击目的IP/攻击时间/攻击类型/攻击峰值/攻击持续时间}

Data2: {攻击目的IP /攻击目的端口/攻击时间/攻击源IP/攻击源端口/地理位置/攻击IP运营商/包大小}  取Top 1000数据

（2）    集合历史攻击数据 ，获取超过2次攻击源IP

（3）    通过端口扫描，回扫。确定IP存活状态和开放端口状态。

（4）    通过外联威胁情报查询IP信誉。确定IP状态排除TOR/匿名代理等

（5）    通过内外情报源查询攻击IP对应malware样本。

（6）    关联蜜罐系统收集样本，获取botnet Server地址。

（7）    对发生攻击的botnet Server发起反制措施。

情报共享

建立提高情报数据共享接口，同时需要对对外提供数据做脱敏处理。

@1、进入到ELK数据，建立威胁情报对外接口

（1）入库：

#!/usr/bin/env python
#coding=utf-8
import traceback
from elasticsearch import Elasticsearch
import sys
import json
import datetime,time
import psycopg2
connC = psycopg2.connect(database="postgres", user="xxx", password="xxx", host="127.0.0.1",port="5432")
conn1 = psycopg2.connect(database="postgres", user="xxx", password="xxx", host="127.0.0.1",port="5432")
def GetNum():
         es = Elasticsearch('x.x.x.x')
         data = es.search(index=index_day, body={"query": {"match_all": {}}},size=1)
         return data["hits"]["total"]
def Getidslog():
         es = Elasticsearch('x.x.x.x')
         tmp_str = datetime.datetime.now().strftime('%Y.%m.%d')
         index_day = 'logstash-' + tmp_str
         es.indices.put_settings(
                                                 {"index": {
                                                        "max_result_window": 500000
                                                 }})
         num = GetNum()
         data = es.search(index=index_day, body={"query": {"match_all": {}}}, size=num)
         datalen=len(data["hits"]["hits"])
         tableName = "%s_%s" % ("idslog", time.strftime("%Y%m%d"))
         cur1 = conn1.cursor()
         try:
              for c in xrange(0,datalen):
#                   print c
                     if data["hits"]["hits"][c]:
                            m_ctime=data["hits"]["hits"][c]["_source"]["@timestamp"]
                            m_src_ip=data["hits"]["hits"][c]["_source"]["src_ip"]
                            m_category=data["hits"]["hits"][c]["_source"]["alert"]["category"]
                            m_signature=data["hits"]["hits"][c]["_source"]["alert"]["signature"]
                            sql = "INSERT INTO %s (ctime,src_ip, category,signature) VALUES ('%s','%s','%s','%s')"
                            sqlCmd = sql % (tableName, m_ctime, m_src_ip, m_category, m_signature)
                            print sqlCmd
                            cur1.execute(sqlCmd)
                            conn1.commit()
         except Exception,e:
              traceback.print_exc()
def CreateTable():
    curC = connC.cursor()
    sqlCreate = "create table if not exists %s ( 
                 ctime TEXT,
                 src_ip TEXT,
                 category TEXT,
                 signature TEXT
                 )"
    tableName = "%s_%s"%("idslog", time.strftime("%Y%m%d"))
    sqlCmd = sqlCreate%tableName
    curC.execute(sqlCmd)
    curC.close()
    connC.commit()
if __name__ == '__main__':
         CreateTable()
         Getidslog()

（2）通过django web方式提供API接口。

  url(r'^api/outxxx/id$', outputAPI.as_view()),//获取某个IP对应的威胁情报，（只提供必要的情报，内部数据需要脱敏）
url(r'^api/outxxx/IPlist$', outputIPlistAPI.as_view()), //获得所有ip列表
class outputAPI(APIView):
    def get(self, request, format=None):
        m_src_ip = request.GET.get("ip") //安全机制已屏蔽
        print m_src_ip
        tableName ='idslog_20170814'
        conn1 = psycopg2.connect(database="postgres", user="xxx", password="xxx", host="127.0.0.1",
                                port="5432")
        cur1 = conn1.cursor()
        SQL1="select * from %s WHERE src_ip=%s" %(tableName,m_src_ip)
        cur1.execute(SQL1)
        rows = cur1.fetchall()
        list =[]
        for row in rows:
            m = {"ctime": row[0], "src_ip": row[1],"category":row[2],"signature":row[3]}
            list.append(m)
        b=json.dumps(list)
        return HttpResponse(b)
class outputIPlistAPI(APIView):
    def get(self, request, format=None):
        tableName = 'idslog_20170814'
        conn1 = psycopg2.connect(database="postgres", user="xxx", password="xxx", host="127.0.0.1",
                                 port="5432")
        cur1 = conn1.cursor()
        SQL1 = "select DISTINCT(src_ip) from {} ".format(tableName)
        cur1.execute(SQL1)
        rows = cur1.fetchall()
        list = []
        for row in rows:
            m = {"src_ip": row[0]}
            list.append(m)
        b = json.dumps(list)
        return HttpResponse(b)

0x03、总结

公有云厂商自建威胁情报系统，是一个长期的投入，虽然短期看不出来多少效果，但是针对数据情报的积累到一定量的时候会有质的变化。