社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

Python爬取百度贴吧图片

马哥Linux运维 • 8 年前 • 829 次点击  

作者:MTbaby

来源:http://img2.100weidu.com/get?src=http://blog.csdn.net/mtbaby/article/details/70209729


描述:用Python爬去百度贴吧图片并保存到本地。 
本人刚学爬虫还不是很熟练,其中难点在于正则表达式的理解;

说明

01

获取整个页面数据

  
  Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据。首先,我们定义了一个getHtml()函数:

  urllib.urlopen()方法用于打开一个URL地址。

  read()方法用于读取URL上的数据,向getHtml()函数传递一个网址,并把整个页面下载下来。执行程序就会把整个网页打印输出。 
   

02

筛选页面中想要的数据


Python 提供了非常强大的正则表达式,我们需要先要了解一点python 正则表达式的知识才行。 
假如我们百度贴吧找到了几张漂亮的壁纸,通过到前段查看工具。找到了图片的地址,如:src=”http://img2.100weidu.com/get?src=http://imgsrc.baidu.com/forum……jpg”pic_ext=”jpeg”

  我们又创建了getImg()函数,用于在获取的整个页面中筛选需要的图片连接。re模块主要包含了正则表达式:

  re.compile() 可以把正则表达式编译成一个正则表达式对象.

  re.findall() 方法读取html 中包含 imgre(正则表达式)的数据。

   运行脚本将得到整个页面中包含图片的URL地址。 
  

03

将页面筛选的数据保存到本地


  通过一个for循环对获取的图片连接进行遍历,为了使图片的文件名看上去更规范,对其进行重命名,命名规则通过x变量加1。保存的位置默认为程序的存放目录。

  程序运行完成,将在目录下看到下载到本地的文件。

————金三银四课程特惠————

马哥教育精英线下Linux班郑州校区开班倒计时,优惠四重享,赠送高达4000元的学习大礼包:

第一重:4月30日前报名,立减400元,名额有限抢完为止;

第二重:4月30日前报名,赠送马哥教育内部Linux知识精讲教材一本(价值666元);

第三重:4月30日前报名,赠送马哥教育实体服务器使用资格(价值1666元);

第四重:4月30日前报名,赠送马哥教育云学堂学习权限1个(价值1999元);


课程详情,请咨询学习顾问:


马哥教育一号女神,温柔可人,最懂IT男

豌豆

Linux面授班,报名优惠400元,名额有限,抢完为止!


今天看啥 - 高品质阅读平台
本文地址:http://www.jintiankansha.me/weixin/IU0Tp5SH18
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/1867
 
829 次点击