爬虫VS反爬虫的蝴蝶效应
美国气象学家爱德华·罗伦兹（Edward N.Lorenz）1963年在一篇提交纽约科学院的论文中分析了一个叫做蝴蝶效应的理论：“一个气象学家提及，如果这个理论被证明正确，一只海鸥扇动翅膀足以永远改变天气变化。”
在以后的演讲和论文中他用了更加有诗意的蝴蝶。对于这个效应最常见的阐述是：
“一只南美洲亚马逊河流域热带雨林中的蝴蝶，偶尔扇动几下翅膀，可以在两周以后引起美国德克萨斯州的一场龙卷风。”
“蝴蝶效应”主要是关于混沌学的一个比喻，也是蝴蝶效应的真实反应。不起眼的一个小动作却能引起一连串的巨大反应——由于误差会以指数形式增长，在这种情况下，一个微小的误差随着不断推移造成了巨大的后果。
在互联网的世界中，蝴蝶效应的呈现则更为明显，身为互联网使用者，你的每一次点击，每一个打开，每一个保存与分享都不仅仅只是点击、打开、保存、分享，它们都将汇集成为数据，成为你互联网畅游的路径。
而对于企业来说，由上述数据推导出你的用户画像（根据你的社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型）早已不是难事。
不过你也无需担忧，对于大多数企业而言，一两个行为标本作用不大，企业所需要的是一个甚至多个受众群体的大数据行为模型。
最初，爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，帮助搜索引擎作为一个辅助人们检索信息的工具。不过，正如同光明与黑暗同时诞生、出生与死亡同存于这个世界，爬虫的出现，也带来恶意爬虫的降生。
以下仅针对互联网业务风控层面阐述。
爬虫是所有攻击链中的重要构成，无论是采集竞争对手网站的数据，尝试破解用户口令还是自动下单，其实都离不开爬虫。
与传统金融类风控不同，岂安更加关心整个风险事件前端的问题，从最开始用户进入网站的行为进行分析。例如用户在页面的停留时间，是否多次修改输入的内容等，这些行为让风险判断的准确性有了巨大的提升。
举个栗子。
恶意爬取网站→ 注册用户扫描
虽然现在大部分平台的注册页面上会有图片验证码，在一定程度上可以防范爬虫自动化程序遍历手机号查询已注册的用户。
但在不同的终端上，还是可以通过简单的请求判断出用户是否已经注册。
▼
爬取注册用户→ 进行业务欺诈
这个数据可以拿来做什么？
一方面，我们已知某个手机号码是某网站的注册用户，这个信息可以用作欺诈，比如模仿官方的服务号向用户发送欺诈短信骗取验证码短信，进行资金盗取。
另外，可以将这些数据向竞争对手出售，协助对方进行精准营销争夺用户。
▼
业务欺诈→ 短信轰炸操作
国内每天都在发生大量的业务欺诈等案件，比如模仿官方的服务号向用户发送欺诈短信骗取验证码短信，进行资金盗取。
在欺诈手法中，还经常使用短信轰炸，比如在盗卡盗刷时，为了增加自己的作案时间，用大量的验证短信掩盖掉真正的银行卡消费短信，让受害者无法快速的发现并冻结自己的银行卡。
为了达到这种目的，攻击者会使用多家网站的短信接口对受害者发送短信，进而产生短信轰炸问题。
▼
短信轰炸→ 账户盗用
个人账户被盗后：垃圾注册→ 产生羊毛党→ 刷单 ……
职业团队产生：爬取评论→ 差评师→ 恶意竞争攻 ……
其它模式→……
我们可以看到，最基础的爬虫所带来的，犹如那只南美洲亚马逊河流域热带雨林中的蝴蝶，拍一拍翅膀，或许只是抖抖阳光雨露，潇洒飞去，或许带来的就是一连串由它而起，又似乎与它无关的后续风暴。
author：Rafael Araujo
那么要禁用爬虫吗？
显然不可能，如果没有爬虫的存在，你将不再有可能被搜索引擎抓到，在重度依赖搜索引擎的现代用户世界中，你也就成为了‘存在而不可见的’透明人。
我相信这是所有企业都不愿意看到的。
所以，互联网世界正如真实世界一样,有好人和坏人，数据和爬虫技术本身没有好坏之分，关键点在于使用它们的那些人。
根据网站内容的安全性及敏感性，区别对待爬虫是比较理想的措施。岂安所做的事情，就是要把好人和坏人区分开来。当然，岂安所能做的也不止这一点，聊完‘蝴蝶’的问题，下次我们再找机会跟河马安安聊聊‘龙卷风’。