每天一个Python库:lxml全面实战指南，爬虫解析速度翻倍
zhezhongyun 2025-07-19 23:58 3 浏览
你是否遇到过：
- BeautifulSoup 解析太慢？
- re 提取数据太容易误匹配？
- 抓数据时 HTML 太乱根本不好搞？
本期，我们用 lxml + XPath 一把梭！
学习本来就不是一蹴而就的事，不过只要你肯练、敢用，坚持一阵子，你一定能看到变化！
为什么推荐 lxml？
- 比 html.parser 快 10 倍以上
- 支持 XPath（选择 DOM 像切菜一样丝滑）
- 支持 HTML/XML 双解析
- 兼容 BeautifulSoup 作为后端
安装与准备
pip install lxml requests常用操作大全（快速入门）
功能 | 语法示例 |
加载 HTML 字符串 | etree.HTML(html_str) |
读取 HTML 文件 | etree.parse("file.html") |
提取文本内容 | xpath("//tag/text()") |
提取属性值 | xpath("//a/@href") |
匹配包含关键词文本 | xpath("//p[contains(text(),'关键词')]") |
匹配多个属性 | xpath("//div[@id='main' and @class]") |
场景 1：从网页中提取标题、链接和内容
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
import requests
url = "https://quotes.toscrape.com"
html = requests.get(url).text
tree = etree.HTML(html)
quotes = tree.xpath('//div[@class="quote"]')
for q in quotes:
text = q.xpath('.//span[@class="text"]/text()')[0]
author = q.xpath('.//small/text()')[0]
print(f"{text} —— {author}")优势：定位精准、速度极快、写法直观！
场景 2：解析本地 HTML 文件，提取表格数据
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>伊朗 VS 以色列 </title>
</head>
<body>
<h1>伊朗 VS 以色列 对比表</h1>
<table id="data-table" border="1">
<tr>
<th>对比项目</th>
<th>伊朗</th>
<th>以色列</th>
</tr>
<tr>
<td>领土面积</td>
<td>164.5万平方公里</td>
<td>2.2万平方公里</td>
</tr>
<tr>
<td>人口</td>
<td>8855万</td>
<td>977万</td>
</tr>
<tr>
<td>现役军人</td>
<td>51.8万</td>
<td>16.9万</td>
</tr>
<tr>
<td>预备役</td>
<td>55万</td>
<td>46.5万</td>
</tr>
<tr>
<td>军费支出</td>
<td>300亿</td>
<td>465亿</td>
</tr>
</table>
</body>
</html>#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
rows = tree.xpath("//table[@id='data-table']//tr")
for row in rows[1:]:
cols = row.xpath(".//td/text()")
print(cols)场景 3：数据清洗+结构提取
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>伊朗 VS 以色列 </title>
</head>
<body>
<div><p>国际原子能机构发出<b>紧急报道!</b><p>伊朗拥有409公斤高浓度浓缩铀神秘失去定位，</p>财联社报道<p>伊朗发生里氏4.3级地震。
</div>
</body>
</html>#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
texts = tree.xpath("//p//text()")
print(texts)
clean_text = "".join(texts).strip()
print(clean_text)lxml + requests 实战小爬虫
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
import requests
from lxml import etree
url = "https://www.python.org/"
resp = requests.get(url)
tree = etree.HTML(resp.text)
titles = tree.xpath("//a/text()")
links = tree.xpath("//a/@href")
for t, l in zip(titles[:10], links[:10]):
print(t.strip(), "=>", l)常用 XPath 表达式（速查表）
表达式 | 含义 |
//div | 所有 div 标签 |
//div[@class="box"] | class=box 的 div |
//a/@href | 提取 a 的 href 属性值 |
//ul/li[1] | ul 的第一个 li |
//p[contains(text(), "abc")] | 包含 abc 的 p 标签文本 |
//div//span | div 内任意层级的 span |
性能对比（lxml vs BeautifulSoup）
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
import time
from bs4 import BeautifulSoup
from lxml import etree
html = "<ul>" + "<li>数据</li>" * 1000 + "</ul>"
start = time.time()
soup = BeautifulSoup(html, "lxml")
print("bs4耗时：", time.time() - start)
start = time.time()
tree = etree.HTML(html)
print("lxml耗时：", time.time() - start)
实测：lxml 平均快 5-10 倍，特别适合大量结构化提取任务！
总结一句话
如果你要处理网页或 HTML 数据，lxml 是你最值得信赖的“精准刀”！
- 解析快
- 语法清晰
- 适合爬虫和清洗
- 企业实战广泛使用
下期预告
《每天一个 Python 库：scrapy，打造自己的高性能爬虫框架！》
点赞关注不迷路，不错过每一期实战技巧！
后续还有更多自动化测试经验分享～评论区欢迎唠嗑交流！
点头像，发现更多精彩内容！
相关推荐
- Qt setAttribute设置窗口属性（qt设置窗口名字）
-
this->resize(500,400);this->setWindowTitle("主窗口");QLabel*label=newQLabel(...
- 利用Axure+js创建可配置地图页面（axure制作app界面）
-
编辑导语：如何利用Axure实现自定义地图展示？本篇文章里，作者结合Axure与高德地图，对如何在Axure中设置相应参数、进而预览时实现自定义地图展示效果的操作流程进行了示范和总结，一起来看一下。本...
- Excel如何获取所有类型的工作表，详细编程方法介绍
-
No.1Excel可以创建不同类型的工作表，编程中会遇到返回某一类型的工作或所有类型的工作表，对表进行操作，那么如何得到想要的工作表呢？下面介绍一个方法。首先要认识一下Sheets对象，它表示工作簿中...
- VBA中的常用单元格引用方式（vba中单元格的引用方法）
-
VBA编程经常和“对象”打交道，其中最频繁的对象大概就是“单元格”了。（听说您还没有对象？那……我想你大概需要一份Excel，包邮988……）今天我们就来聊一下单元格的各种引用方式，比如单个单元格、行...
- 强烈安利试试这个!效果爆炸的漫画变身AI，火到服务器几度挤爆
-
金磊丰色发自凹非寺量子位报道|公众号QbitAI“排队1241人，等待2600秒……”——这届网友为了看一眼自己在动漫里的样子，可真是拼了！“始作俑者”是一款可以把人像变动漫的生成器。只...
- 软网推荐:为窗口控制菜单添加扩展控制命令
-
当我们点击Windows标准窗口（如记事本、资源管理器等）左上角的窗口控制按钮时，会弹出一个含有窗口控制基本命令的菜单，其中包括移动、大小、最小化、最大化、关闭等窗口控制命令。如果我们觉得这些命令不能...
- 45、VBA字典去重，两种不同的方法在实战中的运用(VBA进阶)
-
1、在VBA字典去重的操作中，若程序仅需要使用key值，那么无论采用哪种方法都不会有问题；但如果需要获得对应的item值，就必须根据实际需求选择合适的方法了。学VBA要知其然而知其所以然，不能似懂非懂...
- Excel VBA学习笔记:合并单元格的相关操作
-
合并单元格，一个在工作中很常见的，但是是令写（工作表）公式和VBA代码的人都很不喜欢的东东，今天来讲讲与它相关的操作语法。1、Range("A1:B2").Merge；合并A1到B2单...
- 软网推荐:图片编辑 小而不凡（秽的读法）
-
说起图片编辑小工具，咱手边就有个“画图”软件。但是，这个工具比较简单，对于处理透明背景、应用滤镜效果、添加边框、做拼接图和全景照、图层操作等，就无能为力了。同样是小软件，PhotoPad就能满足上述需...
- Android弹软键盘时之ListView的变化控制
-
前几天有个人问我，说在最底下有个输入框，弹出键盘时整个界面都一起跟着移动，上面的标题栏都移到上面看不到了，界面非常难看。其实这种问题一般存在于这样的界面布局中那就是，上面是标题栏，中间是Listvie...
- 如何将数组值传递到工作表中（怎么传数组）
-
【分享成果，随喜正能量】不与别人盲目攀比，自己就会悠然自得;不把人生目标定得太高，自己就会欢乐常在;不刻意追求完美，自己就会远离痛苦;不是时时苛求自己，自己就会活的自在;不每每吹毛求疵，自己就会轻轻松...
- 【VBA入门必备】Offset和Resize这样用，工作效率翻3倍!
-
大家好！今天共同学习下VBA中单元格属性Offset和Resize操作。一、Offset：单元格的"导航仪"功能说明：以当前单元格为坐标原点，灵活跳转位置语法格式：单元格.Offset...
- 50道阿里巴巴MySql经典面试题(附答案)
-
1、MySQL中有哪几种锁？1、表级锁：开销小，加锁快；不会出现死锁；锁定力度大，发生锁冲突的概率最高，并发度最低。2、行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低，并发度...
- 如何在Vue3项目中集成ESLint+Prettier+Stylelint+Husky?
-
随着前端工程化的发展,前端代码规范也显得越来越重要,所以作为一个前端对于这方面还是需要有一定的了解的。本篇文章将带大家使用ESLint+Prettier+Stylelint+Husky从零搭建一个Vi...
- SpringBoot 中 Json 格式化配置（springboot json转对象）
-
SpringBoot针对jackson是自动化配置的，如果需要修改，也可以自定义配置。0x01：通过application.yml配置属性说明：spring.jackson.date-form...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法：GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- HTML button formtarget 属性 (30)
- CSS 水平对齐 (Horizontal Align) (30)
- opacity 属性 (32)