Python爬虫自学系列（二）

在这里插入图片描述

文章目录

前言

依旧是先唠嗑两句，过气博主又来找存在感了。

回顾一下往昔，过去我们讲了爬虫的简单操作，并封装了一个简单的，获取网页源数据的函数，还挺好用吧。
Python爬虫自学系列一

今天我们来从获取到的网页数据中抓取我们想要的数据。
（注：这一篇里面很多东西都已经是讲过的了，所以本篇基本上是链接了，也不会很长的）

HTML网页简单介绍

Xpath，永远滴神

XPath 是一种将 XML 文档的层次结构描述为关系的方式。因为 HTML 是由 XML 元素组成的，因此我们可以使用 XPath 从 HTML 文档中定位和选择元素。

如果你想了解更多 XPath 相关的知识，可以点击这边上面的蓝字。

至于beautifulsoup就不提啦。
别问我为什么不提，看下去就知道啦。

性能对比

在这里插入图片描述

你悟到了吗？

好，知识点都讲完了，比较中要的还是项目实战中的代码封装。

项目实战也有，爬取2021年腾讯校招

先看一下大概，然后回来我们捡一些功能出来封装一下函数。

从网页中获取数据

这个函数呢，直接将数据一波取走了，不过这个Xpath的使用呐，也不是那么容易的哦。

def get_data(html_data,Xpath_path):
    '''
    这是一个从网页源数据中抓取所需数据的函数
    :param html_data:网页源数据 (单条数据)
    :param Xpath_path: Xpath寻址方法
    :return: 存储结果的列表
    '''
    
    data = html_data.content
    data = data.decode().replace("<!--", "").replace("-->", "") #删除数据中的注释
    tree = etree.HTML(data) #创建element对象
    
    el_list = tree.xpath(Xpath_path)
    return el_list

上面那个是一次性的，那可持续发展的呢？就比方说一个网页你要抓大于一个种类的数据，也就是说有多套的Xpath，那怎么办？

我这儿有两种方法啊：
1.将element对象用于中转，函数一分为二，看：

可持续发展方法一：

第一步，获取网址中的element对象并返回

#获取网址中的element对象
def get_element(html_data):
    data = html_data.content
    data = data.decode().replace("<!--", "").replace("-->", "")
    tree = etree.HTML(data)
    return tree

第二步，从element对象中取值

def parser_element_data


    
(Tree,Xpath):
    el_list = Tree.xpath(Xpath)
    return el_list

这方法啊，土了点，真要用起来啊，也不是很美观，冗余。

还是看方法二吧。

可持续发展方法二：

这个方法呢，就将所有Xpath作为一个列表传入，然后通过循环来取数据。

def get_data_2(html_data,Xpath_path_list):
    '''
    通过多个Xpath对数据进行提取
    :param html_data: 原始网页数据
    :param Xpath_paths: Xpath寻址列表
    :return: 二维列表，一种寻址数据一个列表
    '''
    el_data = []
    
    data = html_data.content
    data = data.decode().replace("<!--", "").replace("-->", "")
    tree = etree.HTML(data)

    for Xpath_path in Xpath_path_list:
        el_list = tree.xpath(Xpath_path)
        el_data.append(el_list)
        el_list = []    #安全起见就自己清理了吧
    
    return el_data

练习

这篇相对比较短，但是内容却不短。
有心的朋友可以找个网站练一下Xpath，比方说招聘网。