最近几天,逛GITHUB发现了个情报收集的东东,用于深度网络爬虫,爬取一些有用的信息其中
他实现的如下,还有漂亮的UI
使用CURL进行多层次的深度爬网
链接提取器
提取电子邮件/ BTC / ETH / XMR地址
提取EXIF元数据
屏幕截图(使用启动画面)
主题检测器(使用Spacy)
端口扫描仪
从隐藏服务中提取报告(CSV / PDF)
通过目录全文搜索
语言检测
Web应用程序安全性扫描(使用Arachni)-[开发中]
基于Docker和Web UI
想玩起来就需要环境依赖
Docker (tested on Docker version 18.03.1)
Docker Compose (tested on version 1.21.1)
Python 3
pipenv
而安装此项目简单至极,简单演示
然后,使用
docker-compose up -d
国内的机子可能会有一个问题,会报错,有条件的同学可以换国外机子
记得添加站点,还是蛮有趣的