分析网络基础设施的有价值数据集|第2部分

根据你对某些科目的兴趣，可以随意跳到下面:

Whois是什么?

Whois的历史

现代Whois协议是如何工作的?

在您的环境中利用Whois数据

结论

Whois小抄

简介

在我们的上一期主要讨论DNS数据的价值为了分析网络基础设施，在本博客中我们将继续对Whois数据集采取类似的方法。域名查询服务没有得到应有的重视。2018年，Whois似乎在GDPR(或the一般资料保障规例)进入舞台左侧。我认为这种假设是错失良机。所以今天我们将给Whois一个在阳光下的时刻，我将介绍Whois的历史，它是如何工作的，它的独特价值和局限性，补充的数据集，以及行动步骤。

Abbott & Costello -谁在一垒?

Whois是什么?

Whois不是首字母缩写，而是一种协议，它查询由许多实体管理的数据登记处及登记处．这些组织由互联网名称与号码分配机构(ICANN)．由注册中心和注册人员管理的数据库包括互联网资源(如域、IP地址块和自治系统)的名称、地址、电子邮件、电话号码和管理和技术联系信息。你可能会惊讶地发现，ICANN并没有一个超级秘密的Whois记录主数据库，因为区域是委托的。然而，DomainTools拥有世界上最接近上述Whois记录数据库的东西。我们在DomainTools已经收集这些数据几十年了，所以我包括了一个复活节彩蛋从一个旧的DomainTools Whois记录为您的享受。

Whois的历史

记住我们的女英雄，伊丽莎白Feinler，我们以前的博客?事实证明她不仅帮我们找到了域名系统。在70年代早期，Feinler和她的团队还在斯坦福大学网络信息中心(NIC)因此，他们可以找到与给定领域相关的人和实体的相关信息。与DNS类似，有一段时间需要对手工流程进行标准化。因此，Whois协议。这一过程出现于80年代初(并确立于RFC 920)。所有Whois查询都有一个集中式服务器，因为所有的域注册都是一次一个组织完成的。当互联网从阿帕网，这个过程变得更加复杂。的国防高级研究计划局(DARPA)是唯一负责域名注册的机构吗?之后,UUNET提供域名注册服务，更具体地说，是他们转发给DARPA的文件。然而，事情发生了变化美国国家科学基金会将域名注册管理移交给商业实体。因此,InterNIC是在90年代早期根据NSF的合同成立的。直到21世纪，Whois服务器都是非限制性的，这意味着你可以对一个人的姓氏进行通配符搜索，你的查询响应将包括所有具有该姓氏的人。多个组利用了这个功能，因此搜索变得更加受限。

在对千年虫问题的普遍恐惧(完全无关)之前的最后时刻，顶级域名(tld)的管理，在当时是。com，。net和。org，移交给了互联网名称与数字地址分配机构．现有的Whois服务器被描述，一个月后在它们的地方，一个自我检测通用网关接口允许基于web的Whois查找和一个外部TLD表，以基于请求的TLD支持多个Whois服务器。听起来是不是很熟悉?这基本上是Whois今天使用的模型。

在21世纪初，随着通用顶级域名(gTLDs)和国家代码顶级域名(ccTLDs)的激增，一个更复杂的域名注册商和注册商协会网络诞生了，从而产生了更多的商业工具来进行whois查找。Whois的进化还远未完成。接下来,互联网工程专责小组(IETF)委员会于2003年成立，目的是制定一个查阅域名和网络号码信息的新标准，并提出了一项名为“互联网注册资讯服务(“综合注册资讯系统”)，这些新标准是由工作小组提出的跨登记处信息服务协议(CRISP)是rfc3981，3982,4992．

Whois的协议不是一成不变的。不久之前(2013年)，IETF认识到IRIS(不要混淆DomainTools虹膜)太复杂，不能充分替代Whois。后面瞎跑而且成熟的NCC同时通过RESTful web服务提供Whois数据。工作组随后编制了另外五份标准文件:rfc7480，7481，7482，7483，7484而且7485．

现代Whois协议是如何工作的?

正如上面所强调的，Whois协议已经发生了许多变化和演变。客户端通常使用传输控制协议(TCP)通过端口43连接服务器。这些服务器托管本博客“What is Whois”一节中提到的数据库。客户端发出一个请求，响应包括从数据库识别的测试记录。您可以通过您的命令行或网站的方式直接查询数据库research.domaintools.com．

根据注册表的某些合同义务，查询将返回厚或薄Whois记录。我在下面列出了这两种不同记录类型的细微差别。

Lean/Thin Whois唱片公司

瘦记录或瘦记录提供来自注册中心的更有限的结果集。它们往往包括注册商、域的状态和创建/过期日期。请参阅下面的瘦记录示例。

厚Whois唱片

如您所料，厚记录包含更完整的数据集;除了薄记录中包含的内容外，还包括管理和技术联系细节。这是一张厚唱片的样品。

来自Whois的珍贵文物

域名

好吧，我承认。我把域名在Whois数据下归档，这有点欺骗，但我希望你能容忍我。域名可能在字符长度上有很大的差异最长的报告的域名为llanfairpwllgwyngyllgogerychwyrndrobwllllantysiliogogogoch[.]co[。]uk和the最短的， g[.]cn)，但不管什么字符，域名都是相当容易和便宜的。当涉及到分析对手时，它们也很有用，因此更适合于一些防御潜在攻击的方法。域名可以帮助你了解一个行动的规模、目标行业(或缺乏)、威胁行为者使用的特定技术/操作(即命令和控制(c2)、批量域注册(BDRA)，域生成算法(DGAs)，网络钓鱼等)，威胁行为者意图，并评估风险。这里有一些模式，我希望你会发现有用的域名。

• 域词缀,因为例子术语“登录”在以下域中，“logonmicrosoft”[。允许恶意注册者滥用广泛认可和信任的品牌名称。其他与之相关的词根包括“login”、“support”、“upgrade”或“www”。正如我在本系列的前一篇博客中提到的，与这些词根相关联的顶级域名数量的增加，给恶意行为者提供了大量潜在的名称，这使得大型组织很难防止品牌滥用。换句话说，是有的很多威胁行为者的机会。在过去的一年里，我们的研究团队发布的报告在这个话题上详述了更多的坏处。在这些报告中，数据科学家们分离出了与网络钓鱼、恶意软件和垃圾邮件相关的词缀。这里是最新的数据(2018年)，所以这些数据可能已经进化了，但它们确实是有帮助的起点。

  

  

  

• 域生成算法(启动）是一种技术，用于减少威胁行为者对C2基础设施的封锁或破坏。C2基础设施依赖于固定的域或IP地址，因此，恶意软件将定期切换到一个新域，而不是循环使用或旋转新的基础设施。为了取得成功，网络犯罪分子会尽量让这些例行程序变得不可预测，然后购买廉价的域名，锁定操作安全，并高速运行。我们的研究团队最近对基于字典的DGA峰值进行了一些研究DomainTools报告．dga可以采用具有高熵的胡言乱语串的形式;它们还可以连接随机的单词而不是字母(这可以使它们对查看日志或警报的人不那么明显)。除了使用机器学习来检测dga之外，查看一个域的熵、该域是否允许列出以及最近注册的类似域名都是很有帮助的方法。
• 文化趋势是关键，因为网络罪犯在机会主义活动中非常高效。使用相似名称注册的域名出现峰值本身并没有风险，但值得密切关注。以下是我们的数据域名bloom DomainTools报告．这是一个例子用一种令人不快的方式使用文化潮流，当然，还有例子全球大流行
• 受害是威胁行为者使用的常见策略。这个总括术语包括一些子技术:
  • 添加或省略字母数字字符(例如domainntools[。或domantools[.]com)
  • 字符翻转(又名位翻转)(例如domaintoolq[.]com)
  • 同音异义字或常见拼写错误
  • 字符替换，特别是替换ASCII和/或类似unicode的字符(例如…domaintoolz。com)
  • 添加和/或删除连字符
  • 重复的字符缩约(例如domaintols[。com])
  • 后缀，类似于我们之前对词缀的讨论(例如domaintoolscom.[biz])
  • 同形文字，或使用国际字符的域(例如domainτools[.]com)
  • 错误的替换或添加(例如domaintrools[.]com)
  • 返回具有术语作为域子字符串的结果的子字符串(例如Secureaccountdomaintoolswebsite[.]com)

注册人的数据

在2018年，GDPR要么是隐私倡导者的梦想，要么是安全专业人士的一个四个字母的单词，这取决于你和谁交谈。这项关于数据保护和隐私的欧盟法规对Whois信息的可用性产生了重大影响。作为回应，ICANN创建了一个政策其中包括注册人姓名、地址(街道、城市、邮政编码)、电话号码和电子邮件。正如你们中的许多人所知，在GDPR之前有域名隐私注册域名的人可以付费使用代理服务来代替他们的私人信息。坦白说，GDPR不是完全安全人员的新屏障。然而，我提到GDPR是为了强调，一些Whois数据比历史上的数据更加有限。

注册和行政邮件

• 唯一的电子邮件清晰这意味着它们不受GDPR的修订，也没有在隐私保护下注册，在建立域之间的连接以及描述威胁行为者的情况时非常有用。如果你能找到他们，一定要找出与该邮件相关的任何其他域名。我建议你去看看能不能找到授权开始(SOA)或安全套接字层(SSL)与查询匹配的记录。
• 电子邮件域名并非都是平等的．免费的电子邮件供应商，也就不足为奇了传统上有更高浓度的有害物质。这里有一个图表列出了需要注意的电子邮件域名。这些数据很难获得，所以请原谅它收集的灰尘，记住这些策略确实随着时间的推移而演变。

  

联系信息

• 注册人的地址信息可以在很大程度上揭示注册人或注册人组织的合法性。以下是我建议你寻找的东西:
  • 地址的元素可以用来连接域，当有少量的域共享相同的地址特征时，这是最有用的，并且有潜在的迹象表明这些域是相关的/连接的。
  • 谷歌一下这个地址，看看它是否真的存在。如果有，那是办公场所吗?或者是一个邮政信箱，甚至是机场附近的联邦快递。有时你会发现它是一个受制裁的组织，这并不意味着没有什么邪恶的事情发生。我经常查看这家公司是否有评论和社交媒体渠道。这里是一个共享主机服务器而不是单个域被破坏的示例．
  • 通过观察地址的每个组成部分来识别不匹配可能是一个信号，表明有什么地方出了问题。例如，邮政编码是否与所列城市相匹配?街道名称是否与城市相关，等等。
• 登记电话号码扮演类似的角色。
  • 电话号码的位数正确吗?它是否与域名或注册细节相关的国家模式相匹配?
  • 此外，一些注册商要求双因素认证，所以有时电话号码出现在Whois数据中。即使威胁行为者使用一次性手机注册域名，他们也很可能使用相同的电话号码注册多个域名，这可能是识别连接的基础设施的有用枢纽。
• 注册人组织使用一个小的关联域集群是连接基础设施的潜在标志。类似于注册地址或电话号码，在谷歌上搜索该组织，看看是否有其合法的信号是有用的。

注册商

• 注册的名字也是很好的考验。与防弹托管类似，有些注册商比其他注册商更值得信任。不可靠的注册商通常在不必对美国或欧盟的法律行动作出回应的国家开展业务。中国、马来西亚和俄罗斯就是很好的例子。与许多这些信号一样，声明一个域或一组域是坏的是不够的，但它是一个很好的指示，表明它值得您花时间继续挖掘。
• 域状态代码由域的注册表设置。客户端代码由注册中心使用，服务器状态代码由注册中心设置。有一份完整的客户名单ICANN网站上的服务器代码．这可能会告诉你一个域名是否活跃，是否正确转让，是否存在法律纠纷等。

日期

• 创建日期是经过验证的领域年龄的真实指标。防御者通常会发现较年轻的域名具有较高的恶意可能性。一个常见的经验法则是，通常不要信任小于30天的域名——特别是如果网页是为了收集登录或信用卡信息而构建的。有趣的是，我要说的是，随着网络罪犯和威胁行为者在武器化或操作基础设施以提高其活动的效力之前更长时间地掌握域名，作为邪恶的信号的域名年龄可能正在发生变化。
• 到期日期也很有用。这些可以用来维护您的组织的域名组合，并确保您不会让一个域名被机会主义的威胁行为者主动获取，以进行BEC或网络钓鱼攻击。最近过期的域名也可能是一个信号，表明威胁行为者获得了一个已丢弃的域名，并将其用于恶意目的。

历史域名查询服务

鉴于GDPR和领域隐私的现实，历史上的Whois可能是有价值的，但随着我们距离GDPR生效的时间越来越远，Whois将会减少。话虽如此，当威胁行为者最初注册一个域，然后稍后将其转移到隐私状态时，您常常会看到一些草率的操作安全性。如果域没有移动，那么您还将拥有可以引用的历史信息之前它被编辑过。这是查找邮件和其他PII的好方法。此外，即使在GDPR之后，注册组织是Whois中的一个字段，有时可以帮助您链接活动集群。

IP域名查询服务

IP Whois和域Whois是不同的野兽。的互联网号码分配机构(IANA)将资源委托给区域互联网登记处(RIR)，进而管理ip区块的分配和注册，并将其委托给互联网服务供应商(isp)．我在本系列的前一篇博客文章中讨论了IP地址，我还将在我们即将发布的关于被动DNS (PDNS)的博客中更多地讨论IP地址，但无论如何，IP Whois仍然可以发挥作用。

• 知识产权授权/注册信息显示了该IP由RIR委托给谁的组织。IP Whois记录中的组织身份为代表团的管理方面提供了地理区域的一个非常笼统的概念，但这与IP地理定位服务不同。您可以通过RIR响应的全球来找出IP所在的区域。有时，这足以告诉你IP是否可能与域名的预期目的不一致。
  • traceroute命令通过您的终端或命令行．可以让你比Whois记录中的IP委托数据更接近IP的位置。但是要注意，这通常只会给出一般的位置信息，从离目标IP最近的中间跳的主机名中推断出来。
  • 许多分析师需要更精确的IP地理定位，有各种各样的服务可以提供这一点(由于子委托的复杂性和层次，通常需要各种各样的数据集来确定位置)。

在您的环境中利用Whois数据

什么能很好地与域Whois数据相匹配?

• DNS
• 被动DNS
• x安全证书信息(例如SSL)
• 网页来源和内容
• 发送方策略框架(SPF)而且基于域的消息认证、报告和一致性(DMARC)规则
• 服务器类型/操作系统和状态(来自服务器横幅）

跟进行动

正如本系列的前一期文章中所讨论的，用Whois数据丰富指标具有附加价值。一个越来越流行的下一步是通过使用安全编排自动化和响应(SOAR)平台来自动化此过程，以构建剧本来帮助加快调查，而不需要向团队添加更多资源。以下是Tim关于SOAR系列博客的链接:

1. 利用SOAR简化对手基础设施搜索
2. 如何用SOAR playbook构建人类分析师的搜索列表
3. 使用DomainCAT暴露可能的活动

Tim还对数据集进行了分类在本系列中重点强调的是characterizers(告诉你一些关于基础设施的元素)，连接器(帮助您找到相关资产)，以及标识符(识别恶意行为者)。这些分类帮助您将分析目标与特定的数据块相匹配。

结论

Whois和DNS数据一样，是信息的源泉，可以让您快速收集信息，以理解意图、相对风险和基础设施之间的关系。加入我，阅读本系列关于被动DNS (pDNS)的最后一篇博客。

Whois小抄

下载完整的小抄单(包括DNS, Whois，被动DNS)

阅读第三部分

---

额外的资源

域生成恶意软件的综合度量研究

域名泛滥:识别威胁行为者针对的域名主题

域泛滥:检测趋势坏域的新方法

分析网络基础设施的有价值数据集(1)