社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

python slapy响应站

吴洲洋 • 6 年前 • 1422 次点击  
def all_type(self, response):
    if response.url is 'http://www.ccdy.cn/zhuanti/' and response.url is 'http://www.ccdy.cn/difang/':
        if response.status != 404:
            yield scrapy.Request(url=response.url, callback=self.all_article)
            for i in range(0, 24):
                type_url = response.url + 'index_' + str(i) + '.htm'
                yield scrapy.Request(url=type_url, callback=self.all_type)

为什么我禁用了404的状态代码,不再访问它,但爬虫仍然访问404页?这是一个爬虫人写的 scrapy . 主要问题是 response.status != 404 不起作用。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/31115
 
1422 次点击  
文章 [ 1 ]  |  最新文章 6 年前
Steve
Reply   •   1 楼
Steve    6 年前

这个函数永远不会做任何事情,因为 如果 有条件的:

if response.url is 'http://www.ccdy.cn/zhuanti/' and response.url is 'http://www.ccdy.cn/difang/':

将永远是错误的,因此它永远不会进入 如果 代码块。也许你想要一个或那里而不是一个和?

…或者也许你的压痕错了,或者至少是我弄错了。在任何情况下, 如果 没有任何意义,因为很明显它总是错误的。