社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

我想用Python开个车,真的只是开个车

python • 7 年前 • 487 次点击  


咱们今天就爬取某国的国粹爱情动作电影系列

准备好了,就上车了呀

滴~学生卡~


























开发环境: python3.6.1+window64+idea14


使用到的第三方库:

pymysql xlrd xlwt xlutils beautifulsoup requests

  1. 声明一个爬虫类Crawer,requests负责抓取目标网页信息

  2. 获取到目标信息后,使用beautifulsoup解析

  3. 判断添加到数据库

现在写requests爬取数据:

我们把保存数据的操作写了,最后再把涉及到html解析的部分补上来。。

最后就到获取到的html解析过程了:
使用谷歌浏览器F12-右键目标html代码-copy-选择copy selector,会得到目标代码的html相对位置信息
body > div:nth-child(10) > div > ul > li:nth-child(1) > li
根据这些数据来进行beautifulsoup定位

okay,写完,我是不会告诉你们网址的。。。


作者:MarcoHorse

源自:

https://www.jianshu.com/p/b39e58dbde46

声明:文章著作权归作者所有,如有侵权,请联系小编删除


今天看啥 - 高品质阅读平台
本文地址:http://www.jintiankansha.me/t/gZpRfG0FIF
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/10650
 
487 次点击