X URLs Finder (xurlfind3r)

xurlfind3r 是一个命令行实用程序，旨在以简单、高效的方式发现给定域名的 URL。它的工作原理是从各种被动来源收集信息，这意味着它不会直接与目标交互，而是收集已经公开的数据。这xurlfind3r对于安全研究人员、IT 专业人员以及任何希望深入了解与域名相关的 URL 的人来说都是一款强大的工具。

Github：https://github.com/hueristiq/xurlfind3r

Features

• 从多个在线被动源获取 URL 以提供广泛的结果
• 支持 stdin 并 stdout 轻松集成到自动化工作流程中
• 跨平台（Windows、Linux 和 macOS）

Installation

安装发布的二进制文件（无需安装 Go）

访问 https://github.com/hueristiq/xurlfind3r/releases ，找到适合您的操作系统和架构的存档。从浏览器下载存档，或复制其 URL 并使用 wget 或 curl 检索：

• ...使用 wget:

    wget https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz

• ...或, 使用 curl:

    curl -OL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz

...然后，提取二进制文件：

tar xf xurlfind3r-<version>-linux-amd64.tar.gz

[!提示] 上述步骤（下载和提取）可以合并为一个步骤，并使用此在线工具

curl -sL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz | tar -xzv

[!笔记] 在 Windows 系统上，您应该能够双击 zip 存档来提取 xurlfind3r 可执行文件。

...将 xurlfind3r 二进制文件移动到你的某个位置 PATH。例如，在 GNU/Linux 和 OS X 系统上：

sudo mv xurlfind3r /usr/local/bin/

[!笔记] Windows 用户可以按照如何：将工具位置添加到 PATH 环境变量中（https://msdn.microsoft.com/en-us/library/office/ee537574(v=office.14).aspx） 来添加xurlfind3r到他们的PATH

从源码安装（已安装 Go）

在从源代码安装之前，您需要确保系统上已安装 Go。您可以按照操作系统的官方说明安装 Go。为此，我们假设 Go 已安装。

go install ...

go install -v github.com/hueristiq/xurlfind3r/cmd/xurlfind3r@latest

go build ... 开发版本

• 克隆存储库

    git clone https://github.com/hueristiq/xurlfind3r.git 

• 构建实用程序

    cd xurlfind3r/cmd/xurlfind3r && \
    go build .

• 将二进制文件移动 xurlfind3r 到你的某个位置 PATH。例如，在 GNU/Linux 和 OS X 系统上：

    sudo mv xurlfind3r /usr/local/bin/

Windows 用户可以按照如何：将工具位置添加到 PATH 环境变量中（https://msdn.microsoft.com/en-us/library/office/ee537574(v=office.14).aspx） 来添加xurlfind3r到他们的PATH

[!警告] 虽然开发版本是预览 xurlfind3r 最新功能（在发布之前）的好方法，但请注意它可能存在错误。正式发布的版本通常更稳定。

在 Docker 上安装（已安装 Docker）

在docker上安装 xurlfind3r：

• 使用以下命令拉取 docker 镜像：

    docker pull hueristiq/xurlfind3r:latest

• 使用容器运行 xurlfind3r :

    docker run --rm hueristiq/xurlfind3r:latest -h

安装后

安装后，xurlfind3r 即可正常工作。不过，某些源需要 API 密钥才能运行。这些密钥可以添加到配置文件 $HOME/.config/xurlfind3r/config.yaml，在首次运行时创建，或设置为环境变量。

API 密钥的环境变量示例：

XURLFIND3R_KEYS_BEVIGIL=your_bevigil_key
XURLFIND3R_KEYS_ONTELX=your_intelx_key

用法

要开始使用 xurlfind3r，请打开终端并运行以下命令以获取选项列表：

xurlfind3r -h

帮助消息如下所示：

                 _  __ _           _ _____
__  ___   _ _ __| |/ _(_)_ __   __| |___ / _ __
\ \/ / | | | '__| | |_| | '_ \ / _` | |_ \| '__|
 >  <| |_| | |  | |  _| | | | | (_| |___) | |
/_/\_\\__,_|_|  |_|_| |_|_| |_|\__,_|____/|_|
                                          v0.6.0

USAGE:
 xurlfind3r [OPTIONS]

CONFIGURATION:
 -c, --configuration string          configuration file (default: $HOME/.config/xurlfind3r/config.yaml)

INPUT:
 -d, --domain string[]               target domain
 -l, --list string                   target domains' list file path

TIP: For multiple input domains use comma(,) separated value with `-d`,
     specify multiple `-d`, load from file with `-l` or load from stdin.

SCOPE:
     --include-subdomains bool       match subdomain's URLs

SOURCES:
     --sources bool                  list supported sources
 -u, --use-sources string[]          comma(,) separated sources to use
 -e, --exclude-sources string[]      comma(,) separated sources to exclude

FILTER & MATCH:
 -f, --filter string                 regex to filter URLs
 -m, --match string                  regex to match URLs

OUTPUT:
     --no-color bool                 disable colored output
 -o, --output string                 output URLs file path
 -O, --output-directory string       output URLs directory path
 -s, --silent bool                   display output subdomains only
 -v, --verbose bool                  display verbose output

pflag: help requested

示例

基础用法

xurlfind3r -d hackerone.com --include-subdomains

正则表达式过滤

# filter images
xurlfind3r -d hackerone.com --include-subdomains -f '`^https?://[^/]*?/.*\.(jpg|jpeg|png|gif|bmp)(\?[^\s]*)?$`'

正则表达式匹配

# match js URLs
xurlfind3r -d hackerone.com --include-subdomains -m '^https?://[^/]*?/.*\.js(\?[^\s]*)?$'