Py学习  »  Python

我想用Python开个车,真的只是开个车

python • 6 年前 • 458 次点击  


咱们今天就爬取某国的国粹爱情动作电影系列

准备好了,就上车了呀

滴~学生卡~


























开发环境: python3.6.1+window64+idea14


使用到的第三方库:

pymysql xlrd xlwt xlutils beautifulsoup requests

  1. 声明一个爬虫类Crawer,requests负责抓取目标网页信息

  2. 获取到目标信息后,使用beautifulsoup解析

  3. 判断添加到数据库

现在写requests爬取数据:

我们把保存数据的操作写了,最后再把涉及到html解析的部分补上来。。

最后就到获取到的html解析过程了:
使用谷歌浏览器F12-右键目标html代码-copy-选择copy selector,会得到目标代码的html相对位置信息
body > div:nth-child(10) > div > ul > li:nth-child(1) > li
根据这些数据来进行beautifulsoup定位

okay,写完,我是不会告诉你们网址的。。。


作者:MarcoHorse

源自:

https://www.jianshu.com/p/b39e58dbde46

声明:文章著作权归作者所有,如有侵权,请联系小编删除


今天看啥 - 高品质阅读平台
本文地址:http://www.jintiankansha.me/t/gZpRfG0FIF
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/10650
 
458 次点击