Py学习  »  Python

Python百行代码轻松爬取了妹子网100G的套图,希望你网盘内存够用

python • 3 年前 • 454 次点击  




前言



最近在做监控相关的配套设施,发现很多脚本都是基于Python的。很早之前就听说其大名,人生苦短,我学Python,这并非一句戏言。随着人工智能、机器学习、深度学习的崛起,目前市面上大部分的人工智能的代码 大多使用Python 来编写。所以人工智能时代,是时候学点Python了。



基本环境配置



  • Python3

  • PyCharm



实现步骤



以妹子图为例,其实很简单,分以下四步:

  • 获取首页的页码数,并创建与页码对应的文件夹

  • 获取页面的栏目地址

  • 进入栏目,获取栏目页码数(每个栏目下有多张图片,分页显示)

  • 获取到栏目下对用标签中的图片并下载



注意事项



爬取过程中,还需要注意以下几点,可能对你有所帮助:

1)导库,其实就类似于Java中框架或者是工具类,底层都被封装好了

2)定义方法函数,一个爬虫可能会几百行,所以尽量不要写成一坨

3)定义全局变量

4)防盗链

5)切换版本

6)异常捕获




代码实现




下面,请小伙伴们睁大眼睛,鸡冻人心的套图时刻来了。




总结



其实脚本很简单,从配置环境、安装集成开发环境、编写脚本到整个脚本顺利执行,差不多花费了四五个小时,最终脚本一根筋的执行。限于服务器带宽以及配置的影响,17G的图差不多下载了三四个小时,至于剩下的83G,小伙伴们自行下载吧。






*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜。

觉得不错,点个“在看”然后转发出去



Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/72739
 
454 次点击