为爬取网页表格数据，常规方式是通过requests请求以及html5lib解析定位获取元素。得到的是目标网页所有table表格的list集合。

以证监会官网披露的IPO表格为例，沪市IPO公司、沪市主板，网址为：
http://eid.csrc.gov.cn/ipo/101010/index.html

按照网页的提示，最多显示50页。通过下图的观测，1-50页的网址变化是有规律的，
http://eid.csrc.gov.cn/ipo/101010/ 这些是不变的，而变化的是index_1.html、index_2.html、
index_3.html......index_50.html。

明白了基本的网页显示规律。下面就开始爬取网页表格数据。

需要说明的是，例子运行在win10+Andconda3+python3.9+Spyder环境下，进行演示的。如果环境不同，可能存在些许差异，粉丝可以在评论区讨论。

一、试探性测试

import requests
from bs4 import BeautifulSoup

#  获取网页内容
# 发送请求，获取响应
url = 'http://eid.csrc.gov.cn/ipo/101010/index_1.html'
response = requests.get(url)
# 从响应中获取数据
page = response.content.decode()
print(page)

检查网页返回的page结果如下图：

红色框所示，返回的信息没有返回正确的数据，出现了“很抱歉，由于您访问的URL有可能对网站造成安全威胁，您的访问被阻断。”意思是，服务器对这种请求进行屏蔽，也就是进行了反爬虫处理。至于反爬虫如何破解，对于不同的网站有不同的方法。有兴趣的粉丝可以评论去讨论。

二、正确下载第一个网页

我们直接给requests.get一个自定义的header，伪装为Mozilla Firefox5.0浏览器进行访问，然后用下面的代码测试。

import requests
from bs4 import BeautifulSoup

header={'User-Agent':'Mozilla/5.0'}
url = "http://eid.csrc.gov.cn/ipo/101010/index_1.html"
response=requests.get(url,headers=header)  
page = response.content.decode()
print(page)

检查网页返回的page结果如下图：

发现能正确下载网页内容了。至于到底采用何种方式下载，需要不断地测试。找到服务器认可的方式。至此，我们开始成功进程。

三、分析第一个网页的内容

分析第一个网页的内容，我们是要获取公司名称、披露类型、上市板块、保荐机构、披露时间、公告等六个字段内容。通过分析网页的内容，我们需要的内容就是一个标准的标签

为此，我们编写了get_web_content函数，分析网页内容，url：网址，header：请求的头，data：分析处理的数据。如果看不懂，可以参照我以前写的头条文章Python爬虫编程：数据解析模块之bs4，超详细，它里面讲述得非常详细。

def get_web_content(url,header,data):
    response=requests.get(url_str,headers=header)       
    # 从响应中获取数据
    page = response.content.decode()
    # 构建bs对象
    soup = BeautifulSoup(page, 'html5lib') 
    # 查找标签
    table = soup.find('table')
    content = table.find_all('tr')
    for i in range(len(content)):
        td_text = content[i].find_all('td')
        td_data=[]
        for j in range(len(td_text)):
            td_data.append(td_text[j].text.strip()) #去掉头尾多余的空格和回车换行
        if len(td_data) > 0:  #去掉空的标题头
            data.append(td_data) 
data = []
get_web_content(url,header,data)
print(data)

运行到这，结果出来了。运行结果如下图所示，但是发现红色箭头的地方，显示不完全。

四、精准分析第一个网页的内容

我们发现，公告的内容有些显示不完全，通过分析网页代码，网页代码片段如下：

发现title的内容是完整的。我们直接去title的值就行了。我们改进函数get_web_content的逻辑及内容。

def get_web_content(url,header,data):
    response=requests.get(url_str,headers=header)       
    # 从响应中获取数据
    page = response.content.decode()
    # 构建bs对象
    soup = BeautifulSoup(page, 'html5lib') 
    # 查找标签
    table = soup.find('table')
    content = table.find_all('tr')
    for i in range(len(content)):
        td_text = content[i].find_all('td')
        td_data=[]
        for j in range(len(td_text)):
            if j==5:
                td_data.append(td_text[j]['title']) #最后一个字段，提取title的内容
            else:
                td_data.append(td_text[j].text.strip())
        if len(td_data) > 0:
            data.append(td_data)
data = []
get_web_content(url,header,data)
print(data)

至此，运行的结果是正确的了。

五、获取全部50个网页的内容

我们利用for循环，巧妙读利用格式化字符串，获取不同网站，进行请求网站服务器。如果对格式化字符串不太了解，可以参照我头条以前的文章，python编程实践：格式化字符串输出的四种方式详解。

import pandas as pd
import requests
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0'}
url = "http://eid.csrc.gov.cn/ipo/101010/index_{0:d}.html"

data=[]

def get_web_content1(url,header,data):
    response=requests.get(url_str,headers=header)       
    # 从响应中获取数据
    page = response.content.decode()
    # 构建bs对象
    soup = BeautifulSoup(page, 'html5lib') 
    # 查找标签
    table = soup.find('table')
    content = table.find_all('tr')
    for i in range(len(content)):
        td_text = content[i].find_all('td')
        td_data=[]
        for j in range(len(td_text)):
            if j==5:
                td_data.append(td_text[j]['title'])
            else:
                td_data.append(td_text[j].text.strip())
        if len(td_data) > 0:
            data.append(td_data)
for ii in range(50):
    url_str = url.format(ii+1)
    get_web_content(url_str,header,data)
print(data)
print(len(data))

至此，运行结果如下图，我们需要的数据都在data变量里，共计有750条记录。

这个data变量的数据，您可以把它赋值为panda的数据，就可以利用panda的数据分析功能进行分析了。

需要说明的是：本例子没有把网站4138条记录全部爬取。如果您确实需要爬取，那是又应该爬取？留给粉丝讨论实现。