社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  docker

基于DOCKER和WEB UI 的深度网络爬虫

渗透云笔记 • 3 年前 • 394 次点击  

最近几天,逛GITHUB发现了个情报收集的东东,用于深度网络爬虫,爬取一些有用的信息其中

他实现的如下,还有漂亮的UI

  • 使用CURL进行多层次的深度爬网

  • 链接提取器

  • 提取电子邮件/ BTC / ETH / XMR地址

  • 提取EXIF元数据

  • 屏幕截图(使用启动画面)

  • 主题检测器(使用Spacy)

  • 端口扫描仪

  • 从隐藏服务中提取报告(CSV / PDF)

  • 通过目录全文搜索

  • 语言检测

  • Web应用程序安全性扫描(使用Arachni)-[开发中]

  • 基于Docker和Web UI

想玩起来就需要环境依赖


  • Docker (tested on Docker version 18.03.1)

  • Docker Compose (tested on version 1.21.1)

  • Python 3

  • pipenv


而安装此项目简单至极,简单演示

然后,使用

docker-compose up -d

国内的机子可能会有一个问题,会报错,有条件的同学可以换国外机子

记得添加站点,还是蛮有趣的

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/100081
 
394 次点击