def all_type(self, response):
if response.url is 'http://www.ccdy.cn/zhuanti/' and response.url is 'http://www.ccdy.cn/difang/':
if response.status != 404:
yield scrapy.Request(url=response.url, callback=self.all_article)
for i in range(0, 24):
type_url = response.url + 'index_' + str(i) + '.htm'
yield scrapy.Request(url=type_url, callback=self.all_type)
为什么我禁用了404的状态代码,不再访问它,但爬虫仍然访问404页?这是一个爬虫人写的
scrapy
. 主要问题是
response.status != 404
不起作用。
