python爬虫 抓取网页并解析HTML页面相当简单!入门开始
zhezhongyun 2025-01-21 23:08 46 浏览
有任何问题可联系我，我们一起学习！：）
第一步：下载HTML页面
基本下载网页的能力包括针对 URL 进行 HTTP GET 请求。这是任何 web 浏览器的基本操作。让我们快速回顾一下此操作的不同部分，因为它有三个不同的元素：
使用 HTTP 协议。这涉及请求的结构方式。
使用 GET 方法，这是最常见的 HTTP 方法。我们将在访问 web API 的示例中进一步了解它。
完整的 URL 描述了页面的地址，包括服务器（例如：mypage.com）和路径（例如：/page）。
该请求将通过互联网路由到服务器，并由服务器进行处理，然后将返回响应。该响应将包含状态代码，通常是 200，如果一切正常，以及结果的正文，这通常是带有 HTML 页面的文本。
大部分请求自动处理了 HTTP 客户端。在这个示例中，我们将看到如何简单请求以获取 web 页面。
HTTP 请求和响应也可以包含头部信息。头部信息包含了关于请求本身的重要信息，例如请求的总大小，内容的格式，请求的日期以及使用的浏览器或服务器等。
准备工作
使用出色的 requests 模块，获取网页非常简单。安装模块：
$ echo "requests==2.23.0" >> requirements.txt
$ source .venv/bin/activate
(.venv) $ pip install -r requirements.txt
我们将下载位于 http://www.columbia.edu/~fdc/sample.html 的页面，因为它是一个简单的 HTML 页面，易于在文本模式下阅读。
操作步骤：
导入requests模块：
import requests
使用以下URL向服务器发出请求，需要一两秒钟的时间：
url = 'http://www.columbia.edu/~fdc/sample.html'
response = requests.get(url)
检查返回对象的状态码：
response.status_code
200
检查结果的内容：
response.text
'<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
n<html>\n<head>\n
...
完整的HTML代码
...
<!-- close the <html> begun above -->\n'
检查正在进行和返回的标头：
response.request.headers
{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip,
deflate', 'Accept': '/', 'Connection': 'keep-alive'}
response.headers
{'Date': 'Fri, 24 Jan 2020 19:04:12 GMT', 'Server': 'Apache',
'Last-Modified': 'Wed, 11 Dec 2019 12:46:44 GMT', 'Accept-Ranges':
'bytes', 'Vary': 'Accept-Encoding,User-Agent', 'Content-Encoding':
'gzip', 'Content-Length': '10127', 'Keep-Alive': 'timeout=15,
max=100', 'Connection': 'Keep-Alive', 'Content-Type': 'text/
html', 'Set-Cookie': 'BIGipServerCUITwww.columbia.edu-80-
pool=1311259520.20480.0000; expires=Sat, 25-Jan-2020 01:04:12 GMT;
path=/; Httponly'}
它是如何工作的...
requests 的操作非常简单；在此情况下，使用 GET 方法在 URL 上执行请求。这将返回一个结果对象，可以进行分析。主要元素是状态代码和正文内容，可以表示为文本。
完整的请求可以在请求属性中检查：
response.request
<PreparedRequest [GET]>
response.request.url
http://www.columbia.edu/~fdc/sample.html'
完整的 requests 模块文档可以在这里找到：https://requests.readthedocs.io/en/master/。
在本章的过程中，我们将展示更多 requests 库的特点。
还有更多...
所有 HTTP 状态代码可以在此网页中查看：https://httpstatuses.com/。它们也在 http.HTTPStatus 枚举中描述，具有方便的常量名称，如 OK、NOT_FOUND 或 FORBIDDEN。
状态代码的一般结构是：
1XX - 关于协议的具体信息。
2XX - 成功。
3XX - 重定向。例如：URL 不再有效，并且可在其他地方找到。新的 URL 应该被包含在内。
4XX - 客户端错误。在向服务器发送信息时存在一些错误（例如，格式错误），或者客户端存在错误（例如，需要身份验证才能访问 URL）。
最著名的错误状态代码可能是 404，当描述 URL 的资源未找到时返回该代码。尝试通过执行 requests.get(http://www.columbia.edu/invalid) 进行测试。
5XX - 服务器错误。服务器端存在错误；例如，服务器可能不可用，或者处理请求时可能存在错误。
请求可以使用 HTTPS（安全 HTTP）协议。它与 HTTP 相同，但确保请求和响应的内容是私有的。requests 会自动处理它。
任何处理任何私人信息的网站都应该使用HTTPS来确保信息没有泄漏。HTTP容易被窃听。请在有可能的情况下使用HTTPS。
第二步：解析HTML
下载原始文本或二进制文件是一个好的起点，但是网络的主要语言是HTML。
HTML是一种结构化语言，定义了文档的不同部分，例如标题和段落。HTML也是分层的，定义了子元素。将原始文本解析为结构化文档的能力基本上是从网页自动提取信息的能力。例如，如果将某些文本放入特定的HTML元素中，例如class div或heading h3标记之后，则可能是相关的文本。
准备就绪
我们将使用优秀的Beautiful Soup模块将HTML文本解析为可以分析的内存对象。我们需要使用最新版本的beautifulsoup4包与Python 3兼容。将该包添加到您的requirements.txt文件中，并在虚拟环境中安装依赖项：
$ echo "beautifulsoup4==4.8.2" >> requirements.txt
$ pip install -r requirements.txt
如何完成它...
导入 BeautifulSoup 和 requests 模块:
import requests
from bs4 import BeautifulSoup
设置要下载和获取的页面的 URL:
URL = 'http://www.columbia.edu/~fdc/sample.html'
response = requests.get(URL)
response
<Response [200]>
解析已下载的页面:
page = BeautifulSoup(response.text, 'html.parser')
获取页面标题。查看它是否与浏览器中显示的相同:
page.title
<title>Sample Web Page</title>
>>> page.title.string
'Sample Web Page'
5. 找到页面中的所有 h3 元素，以确定现有部分:
>>> page.find_all('h3')
[<h3><a name="contents">CONTENTS</a></h3>, <h3><a name="basics">1.
Creating a Web Page</a></h3>, <h3><a name="syntax">2. HTML
Syntax</a></h3>, <h3><a name="chars">3. Special Characters</a></
h3>, <h3><a name="convert">4. Converting Plain Text to HTML</
a></h3>, <h3><a name="effects">5. Effects</a></h3>, <h3><a
name="lists">6. Lists</a></h3>, <h3><a name="links">7. Links</
a></h3>, <h3><a name="tables">8. Tables</a></h3>, <h3><a
name="install">9. Installing Your Web Page on the Internet</a></
h3>, <h3><a name="more">10. Where to go from here</a></h3>]
6. 提取特殊字符部分的文本。当遇到下一个 <h3> 标签时停止:
>>> link_section = page.find('h3', attrs={'id': 'chars'})
>>> section = []
for element in link_section.next_elements:
... if element.name == 'h3':
... break
... section.append(element.string or '')
...
result = ''.join(section)
result
'3. Special Characters\n\nHTML特殊“字符实体”以和号(&&)开头并以分号(;;)结束，例如"EUREUR" = "EUR"。永远流行的“不换行空格”是 。有用于重音拉丁字母和其他西欧特殊字符的特殊实体名称，例如：\n\n\n\n\n\n"a"a\na-umlaut\n\xa0"a\xa0\n\n\n"A"A\nA-umlaut\n\xa0"A\xa0\n\n\náá\na-acute\n\xa0á\xa0\n\nàà\na-grave\n\xa0à\xa0\n\n~n~n\nn-tilde\n\xa0~n\xa0\n\nssss\nGerman double-s\n\xa0ss\xa0\n\nthth\nIcelandic thorn\n\xa0th\xa0\n\xa0th\xa0\n\n\n\n\n示例：\n\n\n对于西班牙语，您需要：\n'A'A ('A),\náá (á),\n'E'E ('E),\néé (é),\n'I'I ('I),\níí (í),\n'O'O ('O),\nóó (ó),\n'U'U (ú),\núú (ú),\n~N~N (~N),\n~n~n (~n);\n?? (?);\n!! (!)。\n例如：A~norarán = A~noraránA~norarán。\n\n\n对于德语，您需要：\n"A"A ("A),\n"a"a ("a),\n"O"O ("O),\n"o"o ("o),\n"U"U (ü),\nüü (ü),\nssss (ss)。\n例如：Grüsse aus K"oln = Grüsse aus K"olnGrüsse aus K"oln。\n\n\n\n点击此处\n点击此处\n以获取完整列表。建议页面编码为UTF-8，这样您也可以直接从键盘输入任何字符，无论是罗马字母、西里尔字母、阿拉伯字母、
它是如何工作的...
第一步是下载页面。然后，可以像第3步那样解析原始文本。
生成的页面对象包含了解析后的信息。
BeautifulSoup允许我们搜索HTML元素。它可以使用.find()搜索第一个HTML元素，或使用.find_all()返回一个列表。
在第5步中，它搜索了一个特定的标签<a>，该标签具有特定的属性id=chars。
然后，它继续迭代.next_elements，直到找到下一个h3标签，该标签标志着该节的结束。
提取每个元素的文本，最后组合成一个单一的文本。请注意，使用or可以避免存储None，当元素没有文本时返回None。
还有更多...
正则表达式可以用作.find()和.find_all()方法的输入。例如，此搜索使用h2和h3标记：
page.find_all(re.compile('^h(2|3)'))
[<h2>Sample Web Page</h2>, <h3 id="contents">CONTENTS</h3>, <h3
id="basics">1. Creating a Web Page</h3>, <h3 id="syntax">2. HTML Syntax</
h3>, <h3 id="chars">3. Special Characters</h3>, <h3 id="convert">4.
Converting Plain Text to HTML</h3>, <h3 id="effects">5. Effects</
h3>, <h3 id="lists">6. Lists</h3>, <h3 id="links">7. Links</h3>, <h3
id="tables">8. Tables</h3>, <h3 id="viewing">9. Viewing Your Web Page</
h3>, <h3 id="install">10. Installing Your Web Page on the Internet</h3>,
<h3 id="more">11. Where to go from here</h3>]
html.parser解析器是默认的解析器，但对于某些操作，它可能会有问题。例如，对于大页面，它可能会很慢，并且它可能会在渲染高度动态的网页时出现问题。您可以使用其他解析器，例如lxml，它更快，或html5lib，它将更接近浏览器的操作方式。它们是需要添加到requirements.txt文件中的外部模块。
HTML非常灵活，可以有多种结构。本篇案例是典型的，但其他选项可将相关部分组合在大的<div>标记或其他元素内，甚至可以使用原始文本。需要进行一些实验，才能找到提取网页中的精华部分的具体过程。不要害怕尝试！
另一个有用的查找参数是使用class_参数包含CSS类。这将在本书的后面展示。
完整的Beautiful Soup文档可以在此处找到：https://www.crummy.com/software/BeautifulSoup/bs4/doc/。
相关推荐
- 3 分钟!AI 从零开发五子棋全过程曝光，网友:这效率我服了
-
<!DOCTYPEhtml><htmllang="zh-CN"><head><metacharset="UTF-8...
- 一行代码实现display"过渡动画"原理
-
作者：Peter谭老师转发链接：https://mp.weixin.qq.com/s/XhwPOv62gypzq5MhhP-5vg写本文的起因上篇文章，提到如何让display出现过渡动画，却没有仔...
- 脑洞:琼恩·雪诺、蝙蝠侠和魔形女的灵魂宠物了解一下
-
AlekseiVinogradovisaRussianfreelancedigitalartistwhoshareshisskillsandtalentwith120k...
- 浏览器的渲染机制、重绘、重排
-
1、什么是重排和重绘网页生成过程：HTML被HTML解析器解析成DOM树css则被css解析器解析成CSSOM树结合DOM树和CSSOM树，生成一棵渲染树(RenderTree)生成布局（flo...
- 托福写作高频考题写作思路&词汇丨考虫独家
-
科技话题与媒体话题是托福写作的常考话题很多考生对这两类话题里的专有词汇表达也许很不了解所以今天就跟随考虫托福写作老师刘云龙老师一起来学习在这些话题的写作里你可以使用哪些有用的表达。希望大家有收获！记得...
- 在优麒麟上使用 Electron 开发桌面应用
-
使用Web标准来创建桌面GUI，上手快、成本低、跨平台、自适应分辨率，这些都是Electron的优势。作者/来源：优麒麟Electron是由Github开发，用HTML、CSS和...
- php手把手教你做网站(三十八)jquery 转轮盘抽奖，开盲盒
-
抽奖和开盲盒性质一样的都是通过ajax读取后台的随机数据。1、转轮盘本来是想直接绘图实现轮盘，但是没有找到怎么填充文字，只好把轮盘弄成了背景图，通常用于游戏抽道具，商城积分抽奖，公司年末员工抽奖点击抽...
- 用 CSS 整活!3D 轮播图手把手教学，快乐代码敲出来
-
兄弟们，今天咱来搞点好玩的——用CSS整一个3D轮播图！咱野生程序员就是要在代码里找乐子，技术和快乐咱都得要！代码是写不完的，但咱能自己敲出快乐来，走起！一、先整个容器，搭个舞台咋先写一个...
- 实现一个超酷的 3D 立体卡片效 #前端开发
-
今天我们来实现一个超酷的3D立体卡片效果。正常情况下就是一个普通的图片展示卡片，鼠标悬停的时候图片会跳出卡片，并将影子投射到背景卡片上，在视觉上有一个3D立体感。html主要分成3个部分：容器→背景层...
- Vue 3 Teleport与Suspense:解决UI难题的两个"隐藏大招"
-
模态框的"层级噩梦"与Teleport的救赎"这个模态框怎么又被父容器截断了？"团队协作开发后台系统时，小张第N次遇到这个问题。多层嵌套的组件结构里，弹窗被overfl...
- 让交互更加生动!有意思的鼠标跟随 3D 旋转动效
-
今天，群友问了这样一个问题，如下所示的鼠标跟随交互效果，如何实现：简单分析一下，这个交互效果主要有两个核心：借助了CSS3D的能力元素的旋转需要和鼠标的移动相结合本文，就将讲述如何使用纯CSS...
- 填坑:transform元素导致zindex失效终极方法
-
今天遇到了使用css3动画的元素层级被放大置顶的问题，ios浏览器上没问题，安卓原生浏览器和安卓微信上有问题。使用了css3动画的元素z-index失效，兄弟元素设置多高的z-index都盖不住解决办...
- 诡异的层级错乱:一个被transform隐藏的CSS陷阱
-
周五下午三点十七分，设计部突然发来紧急截图——原本应该悬浮在顶部的导航菜单，此刻正诡异地被下方的轮播图遮挡。我盯着屏幕上错乱的层级关系，手指下意识地敲下z-index:9999，心里清楚这不过是程序...
- 动画篇--碎片动画
-
本文授权转载，作者：Sindri的小巢（简书）前言从最开始动笔动画篇的博客，至今已经过去了四个多月。这段时间回头看了看自己之前的动画文章，发现用来讲解动画的例子确实不那么的赏心悦目。于是这段时间总是想...
- Nature:大洋转换断层处的拉张构造与两阶段地壳增生
-
Nature：大洋转换断层处的拉张构造与两阶段地壳增生转换断层是三种基本的板块边界之一，全球总长度超过48000km（Bird,2003），它们的发现为板块构造理论的建立奠定了重要的基础（Wil...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法：GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- HTML button formtarget 属性 (30)
- CSS 水平对齐 (Horizontal Align) (30)
- opacity 属性 (32)