回看2017 | 威胁情报看威胁
去年做了个总结（点我查看），今年继续，但换个方式。
随着威胁情报的爆发，不但有很多新加入者，也有很多做了很多年的开源信息开始重新火热。
过去近2年的时间里，这里我一直在汇总各种数据，这里，我抽取2017年的数据来对2017做一个回顾。涉及的几个数据源如下：
ET Pro rules（snort）
SANS Diary
malwaredomains（DNS BH）
CVE-2017
Abuse Ransomware Tracker（以前的相关文章，点我查看）
360的DGA数据
我自己采集的两份数据：
Tor2Web 的每日访问数据（以前的相关文章，点我查看）
Alexa Top 1M
【1】原则
有一些数据我会做归并，如，ET Pro里当天的针对同一目标的同类事件我（一天内针对PP的phishing）
变动数据，这些数据源，多会涉及到数据的增删改，增删改的部分，我尽量不放在统计内，主要是因为处理起来太麻烦
时间，国际惯例，一般源数据时间都会为UTC时间，我大多也验证过，最终涉及到时间问题时我都会转为+800的北京时间
上面这些数据并没有完全展开，因为有些是直接拿来统计的，有些则作为对比、验证，以防止分析过程中出现偏差
【2】et pro
ET Pro 是 Proofpoint 的 snort 规则项目，里面会分 open和pro 两类规则（Pro为付费）。
ET Pro 是我去年最常关注的信息，虽然 pro 类的规则不会放出细节，但 changelog 里依然会有概述信息，对从业者来说这些概述中已经有相当丰富的参考信息了。
这里，我按照 ET Pro 的2017年全年的规则（包括open和pro，来自changelog），以Proofpoint 在规则中定义的事件维度做一个统计（只抽取部分，并不完整），如下图：
ET Pro 的 snort规则分类占比
从数量上来看，木马（Trojan*）最多（占37%），钓鱼（Phish）次之（占25%），手机恶意软件（Mobile Malware）第三（占15%）。
当然，也要考虑一些现实问题。就是，既然数据来自ET Pro的snort规则，就要考虑该公司的专注点，也要考虑一些攻击手段难以单点的方式进行规则化，比如，持续型的攻击。但从数据整体情况来看，依然有亮点：
钓鱼作为性价比极高的攻击方式，依然大量存在
木马依然是最大威胁（也可以理解为木马是最容易被规则化的，同时也需要考虑Proofpoint的背景让他们更关注后门）
移动端已经成为新的传播平台
把这些数据再放到规则层面去细看的话就会发现，其实多数攻击手段并非高精尖的新型技术 —— 钓鱼靠骗、木马靠蒙、移动恶意软件则是连蒙带骗 —— 作为漏洞利用直接相关的 EXPLOIT 分类排到了第五，占比仅2.6%，所以我一直相信，对从业者来说的常见大众化技术足以解决企业80%以上的安全问题，绝大多数企业安全的难点在于场景的落地和制度的贯彻，而非技术。
从上，钓鱼数据目标最多的是（由多至少）：
银行（大类，未细分，所以毫无悬念的第一）
Paypal
Apple
Adobe
Dropbox
Google
Office 365
Netflix
Facebook
钓鱼数据可以说是非常西方范儿的，几乎都是国内不常用或根本无法用的服务。
另外值得提一下的是Web Client（客户端），这个分类中，问题最多的是微软IE（含Edge，40条），其次是Adobe家族（15条）。
除此之外，ET Pro 的snort规则对于威胁情报的利用，也给出了很多参考。
例如，排名较低的SCAN类别中，ET Pro采用的不是常见feed中的scanner IP的形式，而是针对特定攻击手段的流量特征进行识别，如，扫描Intel AMT漏洞的流量特征 —— 实际上就是将“漏洞存在”与“攻击存在”的结合，而不是蜜罐数据的简单提取。
ET Pro 规则起始于2010年（有兴趣翻下 Emerging Threats），所以 ……
ET Pro 2010-2017的规则数量分布
总数上来看，2010数量最多，但实际上这个数据并不具备价值，因为那肯定是包含了2010年以前所有可被规则化的事件。
所以主要看2011-2017，从对比来看，这几年的波动并不大。有两种可能性：
行业趋稳，进入常态化对抗阶段
威胁增多，但却有越来越多的威胁难以被规则化
我个人倾向性第二种可能性。因为攻击变的越来越个性，而ET Pro 这类规则却只能捕捉共性。
除了这些之外，ET Pro 规则的一个很大特征在于，他们的很多事件时来自于公开信息的，所以那些来自公开信息、并被规则化的规则，会在后面标注其来源URL ，我将这些URL也按年提取出来了，因为，这些URL都是极好的情报数据源：
ET Pro 2016年开源情报的主要来源
ET Pro 2017年开源情报的主要来源
这里我只列举了2016年和2017年的开源情报主要来源的分布，并且，仅有每年贡献12条及以上的情报源才会纳入图表中。
从这两年的对比来看：
2017年的来源要丰富了一些（2017年超12条的有18个，2016年只有10个）
2017年的情报源分布均匀了很多，即便是贡献TOP1的PANW也没显得特别突兀
情报源留存率很高，2016年在榜的，大多数都在2017年挤进了图表中
总体看来，去年的情报确实爆表，很多厂商或团队都挤进来开始搞情报。而且多数团队是能够坚持并不是随便搞搞玩的 —— 听起来搞情报很有前途？如果对于开源情报来源有兴趣，可以看这里：http://n7kr.com/ti.src
这里我把2010年至2017年所有开源情报来源的网站做了一个计数统计（ti.source.all.csv），第一列是网站，第二列是出现次数。除此之外，我也把每年开源情报的来源原始URL都打印出来了（ti.src.20XX.detail.txt），有兴趣的话可以翻翻。这里，就只列出2017年在榜的18个情报来源站点：
researchcenter.paloaltonetworks.com
citizenlab.org
sslbl.abuse.ch
www.clearskysec.com
www.cylance.com
401trg.pw
www.us-cert.gov
securelist.com
github.com
www.deependresearch.org
blog.fortinet.com
www.welivesecurity.com
blog.netlab.360.com
blog.malwarebytes.com
www.bleepingcomputer.com
www.fireeye.com
blog.talosintelligence.com
www.crowdstrike.com
最后非常值得一提的就是，etpro的规则响应时间也相当厉害。
可以在etpro的changelog里看一下过去这一年几次重大事件的响应时间，其规则发布时间都早于了很多厂商的新闻时间 —— 而很多厂商在发布新闻之后几天，才把规则铺到产品中去。即便是他们的免费情报，也吊打了很多安全厂商。
-----------
* 注：Trojan 和 Mobile Malware 数据无交叉
【2】SANS_Diary_BLOG & MALWARE-TRAFFIC-ANALYSIS
这两个源主要都是技术分析文章，重点在于深度而非全面。而且由于其定位，所以方向上也必然有其倾向性。
从这两个来源看，SANS在去年关注度最热的威胁是（从高到低）：
malware
malspam（其实这主要是各种威胁的传播途径）
phishing
ransomware
malware traffic的热度则是（从高到低）：
malspam（同上）
ransomware
malware
trojan
从关注点上来看，这两个站点的分析文章是很难出现SQL注入、CVE-XXX在互联网上流传这样的文章的。
但只从他们的关注内容来看，统一度还是比较高的，而且可以看出，邮件依然是重要的传播手段（malspam），而毫无疑问的，勒索软件也是去年的重点（ransomware）。
而因 malware traffic 对勒索软件的关注，所以在malware traffic 中也记录了很多勒索软件的具体名称，可以对比一下：
Malware-traffic上 2016和2017两年的勒索软件数量对比
几种叫得上名字的勒索软件的对比（2016年是橘色，2017年是绿色）。
hoeflertext 和 hancitor（非勒索，银行木马）是2017年新增并频繁出现的，其中hoeflertext 就是那个提示字体缺失要求下载字体的勒索软件。从数量上来看出现频率不低，看来即便是这种自己下载、自己双击运行的勒索软件，都很有市场。攻击手段推陈出新，但用户安全意识依然如此。
传统老牌的 cerber 和 locky 依然不减，pseudodarkleech虽然变化较大，但我查了一下，它也是cerber家族的。
【3】MalwareDomains
MalwareDomains 提供了需要用户将其“黑洞”的各类恶意域名。
去年更新了30811条记录，涉及域名30899，其中3个域名被反复使用过两次。
按照恶意域名的分类来看：
MalwareDomains 在2017年涉及到的恶意域名分类统计
此处只统计了分类命中10次以上的。
从数据里来看，毫无疑问的Phishing 再次占据榜首。其次是 suspicious —— 这个定义给的实在模糊，在我看来并不具备太大的参考价值。本来想直接拿掉，但又担心影响数据完整性，也就在统计里保留了。
排名第三的则是 necurs ，这个是在 Malware-traffic 那张图中也出现的，且在2017年有明显的增长。
Necurs 是2017年集垃圾邮件、勒索和DDoS于一身的明星病毒。所以排在第三位并不奇怪。接下来排名4到10的分类是：
botnet
malware
suppobox
virut
ransomware
locky
trickbot
这些基本上都是比较大的分类了。如果从细化到具体病毒或攻击的角度来看，去年 Necurs 应该是当之无愧的冠军了。
接下来扒一扒域名，从域名的后缀分布来看（仅取出现100次以上的）：
MalwareDomains 在2017年涉及到的恶意域名的后缀统计
统计结果来看，.com后缀依然是最多的，占到了 57% 以上。.net 则占据第2位，占6%，相比 .com 可以说是少的可怜了。
另外，比较有意思的就是，这些恶意域名中，居然还有26个是 .cn 为后缀的，如果这些注册者是在国内生活的话，那就真的是勇士了。
从域名本身来看，域名中仅有 9% 是DGA域名。
从域名长度来看（不含域名后缀），长度分布前十名的域名占据了接近总量的70%，而这前十分布大概是这样的：
MalwareDomains 在2017年涉及到的恶意，按照长度统计的前十位的分布情况
总体来看比较均匀。
另外，从总量上来看，域名（不含后缀）长度在10位（含）以上的数量，占到总量的43%。如果域名含后缀，则长度在10位以上的域名占到了94%以上。
如果将大学英语四级词汇作为fgrep的原始索引字符串丢到域名列表里去索引的话，最终只会命中6% —— 换句话说，这些恶意域名中只有6%的域名中会包含常见的英文词汇。
为什么会有四级单词这么BT的匹配方式？因为我有一条常态策略：长度超长（大于10）且域名中不命中四级词汇的域名，拉入灰名单 —— 目前看来，这样的策略虽然覆盖不全面，但面对海量域名进行筛选时，总体准确度还是可看的。
【4】Tor2Web 每日数据统计
Tor2Web的数据之前细掰过一次（点我查看），这次就简单统计一下。按照每日的总访问量，统计图如下*：
Tor2Web总流量走势
数据最早从4月初开始，一直到12月底。
从总的走势来看，从7月份FBI对暗网的一次致命打击之后，8月到9月一直就呈现了谷底状态，随后有增势，但从总量上来看，已经远不如之前的访问情况。
另外，我统计了每天访问最高的暗网（id），从结果来看，近一年的访问，每日访问排名最高的集中在16个暗网id上（这里所说的id是什么，不再重复解释，可翻之前文章）。这16个id占据了全年总访问量的21%以上，以这16个id为总量去看的话，他们的占比是这个样的：
这16个id中，占比最高的四个：
w2jzy7ulifqj5hop
hss3uro2hsxfogfq
jn5fubzcfm4kz5az
yfka3g2webemzg2z
暗网从年底向上甩起的尾巴来看（不包含圣诞那段下沉），明年的情况可能不会那么消极。期待明年的暗网访问走势。
-----------
* 注：需要再次解释一下，Tor2Web只是代理数据而非访问暗网的全量数据，这个在之前的文章也有说明。
后来有人问我为什么Tor2Web能够用来分析暗网访问问题 —— 其实之前我也在文章里提到过，这个，并不能。但能有一些启示作用，毕竟，用 Tor2Web 的人，大多都是知道暗网存在、以及暗网是一个什么样存在的人，所以，具备一定的代表性。
最后，本来还有一些 Ransomware 的数据，不过因为一些原因，暂时先到这里。
对于这些数据，我也就不做什么总结性的陈述了，数据实实在在的摆在这里，想看到什么就能得到什么，仅此而已。
但对于从业者来说，我觉得我们应该从这些数据中看到一些真相 —— 既要用这些数据破除迷信，也要让这些数据给予我们方向。