theHarvester：电子邮件、子域名和姓名采集器 - OSINT

theHarvester：电子邮件、子域名和姓名采集器 - OSINT

Github：https://github.com/laramies/theHarvester

这是什么？

theHarvester 是一款使用简单但功能强大的工具，设计用于红队评估或渗透测试的侦察阶段。它可以收集开放源代码情报（OSINT），帮助确定域的外部威胁状况。该工具通过以下方式收集名称、电子邮件、IP、子域名和 URL 等多种公共资源，包括：

无源模块：

• anubis: Anubis-DB - https://github.com/jonluca/anubis

• bevigil： CloudSEK BeVigil 扫描移动应用程序以获取 OSINT 资产（需要 API 密钥，见下文） - https://bevigil.com/osint-api

• baidu： 百度搜索引擎 - www.baidu.com

• binaryedge： 已知子域列表（需要 API 密钥，见下文） - https://www.binaryedge.io

• bing： 微软搜索引擎 - https://www.bing.com

• bingapi： 微软搜索引擎，通过 API（需要 API 密钥，见下文。）

• brave: Brave 搜索引擎 - https://search.brave.com/

• bufferoverun: （需要 API 密钥，见下文） https://tls.bufferover.run

• Censys： Censys 搜索引擎将使用证书搜索来枚举子域和收集电子邮件（需要 API 密钥，见下文）https://censys.io。

• certspotter： Cert Spotter 监控证书透明度日志 - https://sslmate.com/certspotter/

• criminalip： 专业网络威胁情报 (CTI) 搜索引擎（需要 API 密钥，见下文）- https://www.criminalip.io

• crtsh： Comodo 证书搜索 - https://crt.sh

• dnsdumpster： DNSdumpster 搜索引擎 - https://dnsdumpster.com

• duckduckgo： DuckDuckGo 搜索引擎 - https://duckduckgo.com

• fullhunt： 下一代攻击面安全平台（需要 API 密钥，见下文） - https://fullhunt.io

• github-code： GitHub 代码搜索引擎（需要 GitHub 个人访问令牌，见下文） - www.github.com

• hackertarget： 在线漏洞扫描仪和网络情报，帮助组织 - https://hackertarget.com

• hunter： hunter 搜索引擎（需要 API 密钥，见下文） - https://hunter.io

• hunterhow： 面向安全研究人员的互联网搜索引擎（需要 API 密钥，见下文） - https://hunter.how

• intelx: Intelx 搜索引擎（需要 API 密钥，见下文） - http://intelx.io

• netlas： Shodan 或 Censys 的竞争对手（需要 API 密钥，见下文） - https://app.netlas.io

• onyphe： 网络防御搜索引擎（需要 API 密钥，见下文） - https://www.onyphe.io/

• otx： AlienVault 开放威胁交换 - https://otx.alienvault.com

• pentestTools： 基于云的攻击性安全测试工具包，侧重于网络应用程序和网络渗透测试（需要 API 密钥，见下文） - https://pentest-tools.com/

• projecDiscovery： 我们积极收集和维护互联网范围内的资产数据，以加强研究和分析 DNS 的变化，从而获得更好的见解（需要 API 密钥，见下文） - https://chaos.projectdiscovery.io

• rapiddns： DNS 查询工具，可轻松查询同一 IP 的子域或网站！https://rapiddns.io。

• rocketreach： 访问实时验证的个人/专业电子邮件、电话号码和社交媒体链接（需要 API 密钥，见下文） - https://rocketreach.co

• securityTrails： Security Trails 搜索引擎，世界上最大的 DNS 历史数据存储库（需要 API 密钥，见下文） - https://securitytrails.com

• shodan：Shodan 搜索引擎将搜索已发现主机的端口和标语（需要 API 密钥，见下文）- https://shodan.io

• sitedossier： 查找网站的可用信息 - http://www.sitedossier.com

• 子域中心： 用于查找给定域的子域的子域查找工具 - https://www.subdomain.center/

• subdomainfinderc99： 子域查找工具用于查找给定域的子域 - https://subdomainfinder.c99.nl

• threatminer： 威胁情报数据挖掘 - https://www.threatminer.org/

• tomba： Tomba 搜索引擎（需要 API 密钥，见下文） - https://tomba.io

• urlscan： URL和网站扫描的网络沙盒 - https://urlscan.io

• vhost：必应虚拟主机搜索

• virustotal： 域名搜索（需要 API 密钥，见下文） - https://www.virustotal.com

• yahoo： 雅虎搜索引擎

• zoomeye： 中国版 Shodan（需要 API 密钥，见下文） - https://www.zoomeye.org

活动模块：

• DNS 暴力破解：字典强制枚举
• 截图： 为找到的子域名截图

需要 API 密钥的模块：

设置应用程序接口密钥的文档可在以下网址找到 - https://github.com/laramies/theHarvester/wiki/Installation#api-keys

• bevigil - 最多可免费查询 50 次。请点击此处查看定价： https://bevigil.com/pricing/osint
• binaryedge - $10/月
• bing
• bufferoverun - 使用免费 API
• censys - 需要 API 密钥，可从您的 [Censys 账户] 中获取。
• criminalip
• fullhunt
• github
• hunter - 免费计划仅限 10 个，因此您需要执行 -l 10 开关
• hunterhow
• intelx
• netlas - $
• onyphe -$
• pentestTools - $
• projecDiscovery - 暂时只接受邀请
• rocketreach - $
• securityTrails
• shodan - $
• tomba - 最多可免费搜索 50 次。
• zoomeye

安装和依赖项：

• Python 3.10+
• https://github.com/laramies/theHarvester/wiki/Installation

    $ ~ > git clone https://github.com/laramies/theHarvester 
    $ ~ > cd theHarvester
    $ ~ > mkdir ~/.theHarvester
    $ ~ > cp api-keys.yaml ~/.theHarvester
    $ ~ > docker build -t theharvester .