刚看到一个新回复, 快速判断域名是http还是https 做过类似的,抛砖引玉。
刚刚看到一个最新回复。
快速判断域名是http还是https
https://www.t00ls.com/viewthread.php?tid=57572&extra=&page=1
刚做过类似的一个,需要快速判断上百万个域名。现说出我的想法。
首先 ,这些域名, 有的是开放了http 有些是开放了https 而有些是同时开放了http和https 是两个不同的系统。
第一,得到这些域名的ip 然后看他们打开的ip
如果没打开443 则确定为 http
否则
如果打开443 ,则大概率是https , 小概率为http 再判断是否有80 如果80端口没打开,则确定是https 否则, 也可能是两个系统。
把不确定的url 再通过head 确定下具体。
如果http 返回的是200 则 http 开放
如果是 301 302 之类的跳转, 如果跳转到了 https 则为https 否则 则为http
否则 大概率是https
再判断https 如果打开正常, 则 https打开正常。
如果跳转到http 则确定为http
否则 则大概率为 http
就这样 保存就好。
快速判断域名是http还是https
https://www.t00ls.com/viewthread.php?tid=57572&extra=&page=1
刚做过类似的一个,需要快速判断上百万个域名。现说出我的想法。
首先 ,这些域名, 有的是开放了http 有些是开放了https 而有些是同时开放了http和https 是两个不同的系统。
第一,得到这些域名的ip 然后看他们打开的ip
如果没打开443 则确定为 http
否则
如果打开443 ,则大概率是https , 小概率为http 再判断是否有80 如果80端口没打开,则确定是https 否则, 也可能是两个系统。
把不确定的url 再通过head 确定下具体。
如果http 返回的是200 则 http 开放
如果是 301 302 之类的跳转, 如果跳转到了 https 则为https 否则 则为http
否则 大概率是https
再判断https 如果打开正常, 则 https打开正常。
如果跳转到http 则确定为http
否则 则大概率为 http
就这样 保存就好。
评论21次
我觉得先看架构
http和https都访问下不就知道了吗
直接用openssl查看对方端口证书不就行了,有证书肯定是https,一条命令就可以了
http和https都访问,访问不通的或者400的pass掉,剩下的就是有效的了
httpx一把梭哈
httpx一把梭哈
好奇域名:端口这种子域名。 这种形式的解析,如果是不同的网站时怎么做到的。 oneforall那种full模式扫描会有,实际扫描很多子域名+端口,访问还是跳到子域名的主页
简单点,就,8,9,10楼说的判断返回页面内容和“长度”做比较,长度来比较是简单的,出入一般几十到一百个字节不是很大
弱弱问一句这种判断的意义何在啊
不能只看端口,理论上端口和服务没有必然联xi
用python的requests库构造请求,然后保存回复包的状态码和url就可以了吧,写过类似的判断,大概的代码如下:
在做scrapy爬虫的时候,考虑过用爬虫程序来批量判断
通过访问http和https,判断返回的页面title等内容判断是不是同一个。
直接访问两次就好了,用http访问,成功就是http,失败再用https访问。 同时开放了http和https 是两个不同的xi统,这种情况太少太少了,两个都成功 对比下文本相识度,一样的就取http
httpx的判断方式:没有设定协议,http访问一次,如果失败再https访问一次,设定了协议,默认按照协议访问,失败再http或https再次访问,就访问两次就好了
我也是1把梭。。。
看ip的话,存在CDN的情况怎么解决?
我是用httpx直接一把梭
直接使用peepingtom一把梭,http,https都加进去
看ip的话,存在CDN的情况怎么解决?