OSINT Resources for 2019
原文：https://medium.com/@micallst/osint-resources-for-2019-b15d55187c3f
无论您是OSINT(公开资源情报)方面的新手，还是在自己的职业生涯中经常使用它进行侦察、威胁情报收集或调查方面的老手，鉴于该领域最近发展迅猛——无论是在OSINT工具、数据、内容还是在社区方面，都带来了巨大的发展——所以，大家都有必要吸收一些新的东西。在这篇文章中，我们将为读者介绍所有依赖OSINT的人都应该知道的要点，以及可能带来额外惊喜的新资源。
首先，让我们来点基础性的知识。
如果您是新手，或者技术水平不是非常深厚的话，那么，最好先设法掌握一些基础性的资源，以便打下一个坚实的基础，这样，不仅可以帮助您更好地利用本文后面提到的其他工具，同时，还能帮助您更深入地了解它们所提供的数据：
- DNS:借助于host、dig和nslookup等命令工具，可以查询各种类型的DNS记录(A、CNAME、NS、MX、TXT等）、使用的备用名称服务器等。例如，您知道Quad9的DNS总是将所有恶意主机解析为127.0.0.1吗？这意味着，通过使用它们的名称服务器进行相应的查找，您就可以可以快速检查出是否存在这种恶意攻击:
$ nslookup m-tesla.pw 9.9.9.9
Server: 9.9.9.9
Address: 9.9.9.9#53
Non-authoritative answer:
Name: m-tesla.pw
Address: 127.0.0.1
- Whois：也许大家都知道如何对域名进行Whois查询，但是您知道也可以对IP地址、网络和ASN执行Whois查询吗？比如，我们不妨看看谁拥有地址8.8.8.8——是的，是Google，但Whois还能向我们展示更广泛的网络范围，即它实际上为Level3Communications（现为CenturyLink）所拥有，他们实际上只是将8.8.8.0/24分配给了Google:
$ whois 8.8.8.8
...
NetRange: 8.0.0.0 - 8.127.255.255
CIDR: 8.0.0.0/9
NetName: LVLT-ORG-8-8
NetHandle: NET-8-0-0-0-1
Parent: NET8 (NET-8-0-0-0-0)
NetType: Direct Allocation
OriginAS:
Organization: Level 3 Parent, LLC (LPL-141)
RegDate: 1992-12-01
Updated: 2018-04-23
Ref: https://rdap.arin.net/registry/ip/8.0.0.0
OrgName: Level 3 Parent, LLC
OrgId: LPL-141
Address: 100 CenturyLink Drive
City: Monroe
StateProv: LA
PostalCode: 71203
Country: US
RegDate: 2018-02-06
Updated: 2018-02-22
...
NetRange: 8.8.8.0 - 8.8.8.255
CIDR: 8.8.8.0/24
NetName: LVLT-GOGL-8-8-8
NetHandle: NET-8-8-8-0-1
Parent: LVLT-ORG-8-8 (NET-8-0-0-0-1)
NetType: Reallocated
OriginAS:
Organization: Google LLC (GOGL)
RegDate: 2014-03-14
Updated: 2014-03-14
Ref: https://rdap.arin.net/registry/ip/8.8.8.0
...
端口扫描器( Nmap、masscan、…)：打开的端口能够帮我们弄清楚服务器已经公开了哪些服务。端口443通常用于HTTPS服务，端口22通常用于SSH服务，等等。端口扫描器可以自动识别给定IP/主机已打开的所有服务，帮我们识别正在使用的软件及其版本，甚至还可以识别主机的操作系统。
谷歌的搜索语法：很多书籍都对此进行了广泛的讨论(甚至有一本书是专门讨论这一主题的)，所以，这里就不再多费口舌了，不过，这并不是说它并不重要——大家只要看看Google Hacking Database( GHDB )，您心里就会有数了。
Python：早晚有一天，大家都会遇到一些独一无二的需求，这时，就需要为自己特定的场景集成不同的工具和API。之所以单独提及Python，因为它不仅是一种平易近人的语言，更易于阅读代码，同时，其标准库还为我们提供了非常丰富的功能。即使标准库没有提供您自己想要的东西，通常也能在网络上找到现成的相关模块。出于这个原因，我遇到的大多数OSINT工具都是用Python语言编写的，所以，如果您是Python的新手，并且希望将其专门应用于OSINT，不妨学习一下Justin Seitz（Hunchly软件的作者）编写的在线课程，或者直接看这里的Python教程——其可读性好到令人发指。
我们需要创造性地思考！我最喜欢OSINT的一点是，它通常是一个由松散连接（或经常是不连接）的组成部分构成的大拼图。如果您得到了一条信息，通常顺着又能得到另一条信息。如果遇到了一个死胡同，那就必须改变方向了；在此期间，收集的信息会沿途建立一个更连贯的画面。最关键的是不要放弃，要创造性地思考，要灵活多变。希望您最后能：
抱歉，我得把Brooklyn 99的资料偷偷带过来。
掌握了这些要素之后，您就可以通过使用他人创建的更复杂的工具和平台了，也就是站在巨人的肩膀上了；话说回来，这些工具和平台中的大部分也都是建立在上述基础之上的，但是，它们的规模要大得多。
Internet扫描器
Internet扫描器带来的好处是，当您想要了解目标计算机公开了哪些服务（开放端口、协议、应用程序、内容）时，大部分的繁重工作可由它们代劳，因此，您只需要查询它们的数据库就行了，而无需亲自进行端口扫描。此外，另一个主要的好处是：它完全是被动方式的，所以，您的目标根本没有任何觉察。
我利用SHODAN对关键词‘spiderfoot’进行了一个简单的搜索，结果显示，有些人正在网上公开运行它。
SHODAN：它是Internet扫描器之王，这一地位是无可争议的；它提供了丰富的查询语言、API，最重要的是，它还为我们提供了大量数据供筛选。
Censys：这个平台发展很快；它不仅提供了高质量的数据，同时，还提供了非常好用的界面和API。
BinaryEdge：有些家伙已经通过他们的平台发现了很多漏洞，最近还向公众开放了免费访问权限。另外，他们还提供了BitTorrent数据和相关的API。
被动型DNS
被动型DNS服务能够利用Internet DNS流量来构建DNS解析的历史记录。我们知道，借助于DNS，我们可以将名称解析为相应的IP地址，或者将IP地址解析为相应的名称。但如果我们想找出解析到给定IP的所有名称的话，我们该怎么办呢？或者，如何找出曾经解析到的给定IP的所有名称呢？这时，被动型DNS就派上用场了。当然，单靠某一种服务无法得到满意的结果，同时，相关数据的新鲜度也会有所不同，因此，我们最好查询多个被动型DNS服务，以获得最全面的结果。
我在SecurityTrails上搜索自己的个人网站binarypool.com，竟然能够看到2008年的DNS记录！
SecurityTrails：实际上，将SecurityTrails归入被动型DNS类别确实有点保守，因为，它们的用途远不止于被动型DNS。它们不仅提供了巨量的数据，还提供了丰富的API和友好的UI。同时，它们目前还在迅速发展，因为它们建立了自己的平台，并提供了一个免费的使用层。
Robtex：Robtex是本人第一次接触到的被动型DNS服务，让我非常着迷。目前，几乎所有的OSINT工具都在使用它，毕竟，它已经存在了很长时间了，并且是免费的，同时，还有很多可以追溯到几年前得高质量数据。不过，大家不要被简单的UI所愚弄——它提供了丰富的数据，而且，还提供了相应的API。
HackerTarget：这是另一个具有丰富的免费被动型DNS数据源，同时，我们也可通过API获得相应的数据。此外，他们还提供了许多其他方面的免费工具，这些工具也值得大家花些时间一探究竟。
声誉系统（Reputation Systems）
如果从事OSINT的主要目标之一是威胁情报收集的话，那您运气不错，因为这方面的信息源不仅数量多，并且质量也很高，所以，我在这里夹带了一点私货，列出了我最喜欢的两个，并且提供了一个服务的链接，该服务汇总了所有这些信息，并给出了原创性的比较情况。
在VirusTotal中查找可疑域名，不仅能够找到相应的声誉信息，同时还能发现更多的信息。
VirusTotal：在这个巨大的平台上，提供了巨量的声誉数据、被动型DNS数据，等等。虽然该平台的访问是免费的，但是在查询量方面具有严格的限制。不过，如果您只使用UI，这应该不成问题。
Greynoise：这是一个新玩家，它更关注于识别Internet扫描器(例如上面提到的那些)。如果您正在调查可疑的IP地址，那么，这是一个消除误报("反威胁情报")的好去处。
FireHOL IP清单:如其网站上所述，“其目标是创建一个足够安全得黑名单，可以在所有系统上使用，并提供了防火墙，以全面阻止对其列出的IP的访问。”他们还提供了历史数据维护，分析数据的唯一性等功能。
反向Whois
反向Whois是我最喜欢的OCIT资源之一，因为它的功能非常强大，经常给我们带来惊喜。常规Whois只能提基于域名搜索结果，而反向Whois资源则允许我们根据名字、电话号码和电子邮件地址等字段来搜索当前和历史Whois记录。更具体地说，如果[email protected]是待调查的域名的联系人，则可以通过这种方法找到注册在该电子邮件地址下的所有其他域名。当试图探索影子IT问题（shadow IT issues），或查找主域名完整的外围对象时，这会非常给力。
如果搜索[email protected]，则会显示在该地址下注册的其他域名。
ViewDNS.info：该网站上提供了许多免费工具，并且，API的定价也非常合理。即使不使用API，您仍然可以从网站上查询相当多的数据，并且这些数据可以追溯到很久以前。此外，您还可以批量下载数据。
WhoXY：他们的数据覆盖范围超过了2000个TLD，可以通过API来批量获取。此外，您还可以以每1000个查询2美元的费率来购买查询流量。价格吗，还算公道吧。
SecurityTrails：在这里，我不得不再次提及SecurityTrails，因为他们也提供反向Whois数据。
自动化工具
随着OSINT数据源越来越多，所以，我们最终会走上自动化之路，这样，我们就不会将所有时间都花在浏览器窗口的切换、复制和粘贴上面，同时，还能降低人为出错的概率。通过这些工具，您可以收集、构建、关联和可视化相关的OSINT数据，甚至可以监控它们在一段时间内的变化情况。
眼下，已经有越来越多的工具进入OSINT领域，涵盖了子域枚举、社交媒体相关性等领域。有时，我们需要通用的广度覆盖工具（broad-coverage tool）来同时访问大量的数据点；另一些时候，我们却只需要一个涉及面很窄且专用的工具来处理某个数据点。此外，还有一个关键的维度，那就是新鲜度——我们要尝试和使用那些有人积极维护的工具，以便可以确保他们正在使用与其集成的数据源搭配的最新API。
SpiderFoot不仅提供了开源版本，还提供了云托管版本（SpiderFoot HX以上版本），目前处于Private Beta阶段。
SpiderFoot：作为SpiderFoot的作者，难免有失偏颇，所以，这里我们只能说该项目目前提供了基于Web的UI、CLI并且处于积极维护状态，并提供了150个以上的模块，供大家用于集成和分析OSINT数据源。此外，截止撰写本文时，SpiderFoot HX Private Beta版本仍处于开放状态，所以，我们还将为其提供更多的功能。
Maltego：提供了社区版（免费）和商业版。Maltego具有令人印象深刻的可视化功能，并能够与OSINT的“transforms”模型一起工作，后者可以将一种类型的数据（例如电子邮件地址）转换为另一种类型（例如，一个人的姓名）。
theHarvester：一个非常流行的开源、纯CLI的OSINT工具，它集成了许多数据源，包括本文中之前提到的那些。
社区
在过去几年中，OSINT领域最让人高兴的事情之一就是社区的迅猛发展。现在，社区已经提供博客、聊天组、聚合资源列表甚至播客：
一个100％致力于传播OSINT的播客。
The OSINT Podcast：Jake Creps总能提供最新的主题，其中涵盖了新的OSINT资源和工具，以及对OSINT领域关键人物的采访。
Michael Bazzell的网站（以及时事通讯！）：我们是该网站的常客，我经常通过该网站来寻找创建新SpiderFoot模块的灵感。该网站的主题更着重于调查方面，不过技术性较差，但对于获取新的OSINT来源来说，它仍然非常有用。
OSINTcurio.us：一个最近才上线的博客，也是一个值得关注的博客。这里提供了许多有趣的文章，大多是有关人们是如何进入OSINT领域的，不过，将来会提供越来越多的教学材料。
Awesome OSINT：提供相关的OSINT资源链接。这里也许提供了人类已知的所有OSINT源，并且将其托管在Github上，所以，如果您想贡献内容，只需一个拉取请求就能搞定。
OSINT Rocket Chat：随着数百（数千？）成员的加入，不久就会发展成一个由调查人员、信息安全人员、研究人员和业余爱好者组成的、有用且活跃的社区。
小结
就像所有这个方面的文章一样，这里真的只是触及了如今可用的OSINT资源的一点皮毛而已。尽管如此，我仍然希望本文能够对您有所帮助，同时，在后续文章中，我将介绍不断发展的OSINT世界的其他方面的内容。如果您想了解前面述及的某些资源（以及其他资源），不妨访问本人之前分析比特币诈骗的文章。