注册    登录
关注
Py学习  »  Python

使用启用cookies的python请求进行Web爬行

Mohamad Ibrahim • 4 年前 • 308 次点击  

我正在尝试对此特定网页进行爬网: https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets

使用以下代码行: 

page = requests.get("https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets")

但是,页面带有默认的“表”视图。但我要爬行的网页是在“列表视图”启用时。如何请求启用了“列表”视图的网页,如下图所示: u

Python社区是高质量的Python/Django开发社区
本文地址：http://www.python88.com/topic/38128
Reply
 
308 次点击  
文章 [ 1 ]  |  最新文章 4 年前
Giovani Moutinho
Reply   •   1 楼
Giovani Moutinho    4 年前

通过Google Chrome的网络标签,我觉得这个网站通过设置一个cookie知道显示哪个视图,所以如果你想以列表的形式查看,你可以在你的请求中设置这个cookie。 

requests.get("https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets", cookies={'pv':'list'})

以后你可以查一下 this reference 帮助您了解浏览时实际发生的情况。

登录后回复
关于   移动版   ·   三行代码   ·   今天看啥   ·   Code   ·   link之家   ·   卧龙搜索   ·   藏经阁   ·   小百科
Py学习 - 专注于Python技术发展的社区(原Django社区)
沪ICP备11025650号