Python - 爬虫之数据提取
# 一、概述
# 1、响应内容的分类
- 结构化的响应内容
- json 字符串:可以使用 re、json、jsonpath 等模块来提取特定数据
- xml 字符串:可以使用 re、lxml 等模块来提取特定数据
- 非结构化的响应内容
- html 字符串:可以使用 re、lxml、Beautiful Soup、pyquery 等模块来提取特定数据
注意:re 模块需要掌握正则语法,lxml 模块需要掌握 xpath 语法。
# 2、xml 与 html 的区别
数据格式 | 描述 | 设计目标 |
---|---|---|
XML | EXtensible Markup Language(可扩展标记语言) | 被设计为传输和存储数据,其焦点是数据的结构 |
HTML | HyperText Markup Language(超文本标记语言) | 显示数据以及如何更好显示数据 |
# 二、jsonpath 模块【了解】
# 1、介绍
- 场景:多层嵌套的复杂字典直接提取数据
- 安装:
pip install jsonpath
- 使用:
from jsonpath import jsonpath
ret = jsonpath(data, 'jsonpath语法规则字符串')
注意:
data
类型是字典,ret
类型是列表
# 2、jsonpath 语法规则
常用核心语法
JSONPath | 描述 |
---|---|
$ | 根节点 |
. or [] | 取子节点 |
.. | 内部任意位置,取子孙节点 |
完整语法说明:https://kubernetes.io/zh/docs/reference/kubectl/jsonpath/ (opens new window)
from jsonpath import jsonpath
data = {'key1': {'key2': {'key3': {'key4': {'key5': {'key6': 'lqr'}}}}}}
# print(data['key1']['key2']['key3']['key4']['key5']['key6'])
# jsonpath的结果为列表,获取数据需要索引
print(jsonpath(data, '$.key1.key2.key3.key4.key5.key6')[0])
print(jsonpath(data, '$..key6')[0])
# 三、lxml 模块【重点】
# 1、介绍
- lxml 模块:可以利用 XPath 规则语法,快速定位 HTML/XML 文档中的元素以及获取节点信息(文本内容、属性值)
- XPath:是一门对 HTML/XML 文档中查找信息的语言,可用来在 HTML/XML 文档中对元素和属性进行遍历
- 关系:提取 xml、html 中的数据需要 lxml 模块和 xpath 语法配合使用
# 2、xpath 语法
完整语法说明:https://www.w3school.com.cn/xpath/index.asp (opens new window)
# 1)xpath 定位节点以及提取属性或文本内容语法
nodename | 选取此节点的所有子节点。 |
---|---|
/ | 从根节点选取。 |
// | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。 |
. | 选取当前节点。 |
.. | 选取当前节点的父节点。 |
@ | 选取属性。 |
text() | 选取文本。 |
举例:
<!-------选取title标签-------->
html/head/title 绝对路径
html//title 相对路径
//title 相对于整个html文档
//title/. 当前节点
//title/./../.. 父节点
<!-------从开闭标签之间取文本内容-------->
//title/text()
<!-------从选中的节点标签中获取指定属性的值-------->
//link/@href
安利:Chrome 插件【xmlpath-helper】:https://chrome.google.com/webstore/detail/xpath-helper/hgimnogjllphhhkhlmebbmlgjoejdpjl/related?hl=zh-CN (opens new window)
# 2)xpath 选取特定节点语法
路径表达式 | 结果 |
---|---|
//title[@lang="eng"] | 选择 lang 属性值为 eng 的所有 title 元素 |
/bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素 |
/bookstore/book[last] | 选取属于 bookstore 子元素的最后一个 book 元素 |
/bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素 |
/bookstore/book[position()>1] | 选择 bookstore 下面的 book 元素,从第二个开始选择 |
//book/title[text()='Harry Potter'] | 选择所有 book 下的 title 元素,仅仅选择文本为 Harry Potter 的 title 元素 |
/bookstore/book[price>35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 子元素的值须大于 35.00 |
注意:在 xpath 中,第一个元素的位置是 1;最后一个元素的位置是 last();倒数第二个是 last()-1。
举例:
<!-------通过索引修饰节点-------->
/html/body/div[3]/div/div[1]/div
/html/body/div[3]/div/div[1]/div[3]
/html/body/div[3]/div/div[1]/div[last()] 选中最后一个
/html/body/div[3]/div/div[1]/div[last()-1] 选中倒数第二个
/html/body/div[3]/div/div[1]/div[position()>=10] 范围选择
<!-------通过属性修饰节点-------->
//div[@id="content-left"]/div/@id 出现在[]中的@是使用标签属性名和属性值修饰节点,出现在结尾的/@是取属性值
<!-------通过子节点修饰节点-------->
//span[i>2000]
//div[span[2]>=9.4]
<!-------通过包含修饰节点-------->
//div[contains(@id, "qiushi_tag_")]
# 3)xpath 选取未知节点语法
可以通过通配符来选取未知的 html、xml 的元素
通配符 | 描述 |
---|---|
* | 匹配任何元素节点。 |
@* | 匹配任何属性节点。 |
node() | 匹配任何类型的节点。 |
补充:通过在路径表达式中使用"|"运算符,可以选取若干个路径。
举例:
/bookstore/* 选取 bookstore 元素的所有子元素。
//* 选取文档中的所有元素。
//title[@*] 选取所有带有属性的 title 元素
//h2/a|//td/a xpath复合使用语法
# 3、lxml 模块的使用
# 1)导入 lxml 的 etree 库
from lxml import etree
# 如果上面导入代码报错,可以改用下面的导入代码
from lxml import html
etree = html.etree
注意:
from lxml import etree
提示报错的话,其实不会影响代码的运行,只是看着有点别扭。
# 2)使用 etree.HTML
转化 Element 对象
利用 etree.HTML
将 html 字符串(bytes 类型或 str 类型)转化为 Element 对象,Element 对象具有 xpath 方法,返回结果的列表:
html = etree.HTML(text)
ret_list = html.xpath('xpath语法规则字符串')
# 3)xpath 方法返回列表的三种情况
- 空列表:没有定位到任何元素
- 字符串列表:匹配到了文本内容或某属性的值
- Element 列表:匹配到符合条件的标签,列表中的 Element 对象可以继续进行 xpath
举例:
from lxml import etree
text = """
<div>
<ul>
<li class="item-1"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
"""
html = etree.HTML(text)
#print(html)
print(html.xpath('//a[@href="link1.html"]/text()'))
print(html.xpath('//a[@href="link1.html"]/text()')[0])
# 字符串列表
text_list = html.xpath('//a/text()')
link_list = html.xpath('//a/@href')
# for text in text_list:
# myindex = text_list.index(text)
# link = link_list[myindex]
# print(text, link)
for text, link in zip(text_list, link_list):
print(text, link)
# Element列表
el_list = html.xpath('//a')
for el in el_list:
print(el.xpath('//text()')) # ×://开头是相对整个文档的
print(el.xpath('./text()')) # √
print(el.xpath('.//text()')) # √
print(el.xpath('text()')) # √
# 4)etree.tostring
函数的使用
etree.tostring
函数可以将 Element 对象转化回 html 字符串:
from lxml import etree
text = """
<div>
<ul>
<li class="item-1"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
"""
html = etree.HTML(text)
html_str = etree.tostring(html).decode()
print(html_str)
注意:转化后,可能会多出来一些标签,比如原本没有的
<body>
、<html>
,这是因为etree.HTML(text)
会自动补全原 html 中的语法错误。
- 01
- Flutter - 子部件任意位置观察滚动数据11-24
- 02
- Flutter - 危!3.24版本苹果审核被拒!11-13
- 03
- Flutter - 轻松搞定炫酷视差(Parallax)效果09-21