Py学习  »  Python

Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫,名称有点套娃

梦想橡皮擦 • 5 年前 • 602 次点击  

本篇博客和上一篇内容呈连续性,注意哦~

scrapydweb模块安装

上篇博客中提及到了一款美化 scrapyd 的模块,名字叫做 scrapydweb 今天我们就把它配置起来吧

本篇博客内容相对简单,篇幅较少,大家可以快速阅览

scrapydweb 的 github地址如下: https://github.com/my8100/files/tree/master/scrapydweb

安装命令也比较简单

pip install scrapydweb -i https://pypi.douban.com/simple

运行 scrapydweb ,运行前注意你的 scrapyd 必须处在运行状态

运行效果如图,运行完毕,会在当前目录生成一个 scrapydweb_settings_v10.py 文件

Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫

1. 配置 scrapyd 服务器节点

然后打开文件, 注释一些内容。具体如下

SCRAPYD_SERVERS = [
    
  • 1
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/73071