零代码编程:用ChatGPT批量提取网页上的文本信息内容
zhezhongyun 2025-01-05 21:22 53 浏览
现在有很多个网页：
要批量提取网页内的文本：
可以在ChatGPT中这样写提示词：
你是一个Python专家，写一段Python程序，完全提取网页文本内容的任务，下面是一步步的步骤：
打开表格文件，文件路径：F：\传感器企业大全(传感器专家网)20230714.xlsx；
获取表格E2单元格到E3939的单元格的内容，如“/brand/6182.html”，前面加上“https://www.sensorexpert.com.cn”，构成一个URL，注意：从第2行开始读取；
打开这个URL，Request headers为：
Authority:
http://www.sensorexpert.com.cn
:Method:
GET
:Path:
/brand/6182.html
:Scheme:
https
Accept:
text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding:
gzip, deflate, br
Accept-Language:
zh-CN,zh;q=0.9,en;q=0.8
Cache-Control:
max-age=0
Sec-Ch-Ua:
"Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"
Sec-Ch-Ua-Mobile:
?0
Sec-Ch-Ua-Platform:
"Windows"
Sec-Fetch-Dest:
document
Sec-Fetch-Mode:
navigate
Sec-Fetch-Site:
none
Sec-Fetch-User:
?1
Upgrade-Insecure-Requests:
1
User-Agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
定位xpath=/html/body/div[1]/div/div/div[2]/div[3]/div/div[1]/div/div/p[5]/strong 的strong 元素，提取里面的内容,设为变量:sensortitile,打印输出；
定位class="content-company"的div元素，使用 xpath('.//text()') 来获取所有子元素的文本，并使用 join() 方法将它们连接在一起，然后使用 strip() 方法进行清理；提取的文本内容设为变量:sensorcompany；
在F盘新建一个Excel：传感器企业简介.xlsx，第1列写入sensortitile，第2列写入sensorcompany，第3列内容为“传感器企业大全(传感器专家网)20230714.xlsx”中的URL；
注意：每一步都要输出信息；
如果没有获取到strong 元素或div元素内容，就写入空值；
每爬取1个URL内容，随机暂停3秒以内；
要有应对反爬虫的措施，比如设置请求头；
程序运行后的结果：
相关推荐
- 激光手术矫正视力对眼睛到底有没有伤害?
-
因为大家询问到很多关于“基质不能完全愈合”的问题，有必要在这里再详细解释一下。谢谢@珍惜年少时光提出的疑问：因为手头刚好在看组织学，其中提到：”角膜基质约占角膜的全厚度的90%，主要成分是胶原板层，...
- OneCode核心概念解析——View(视图)
-
什么是视图？在前面的章节中介绍过，Page相关的概念，Page是用户交互的入口，具有Url唯一性。但Page还只是一个抽象的容器，而View则是一个具备了具体业务能力的特殊的Page,它可以是一个...
- 精品博文图文详解Xilinx ISE14.7 安装教程
-
在软件安装之前，得准备好软件安装包，可从Xilinx官网上下载：http://china.xilinx.com/support/download/index.html/content/xilinx/z...
- 卡片项目管理(Web)（卡片设计的流程）
-
简洁的HTML文档卡片管理，简单框架个人本地离线使用。将个人工具类的文档整理使用。优化方向：添加图片、瀑布式布局、颜色修改、毛玻璃效果等。<!DOCTYPEhtml><html...
- GolangWeb框架Iris项目实战-JWT和中间件(Middleware)的使用EP07
-
前文再续，上一回我们完成了用户的登录逻辑，将之前用户管理模块中添加的用户账号进行账号和密码的校验，过程中使用图形验证码强制进行人机交互，防止账号的密码被暴力破解。本回我们需要为登录成功的用户生成Tok...
- sitemap 网站地图是什么格式?有什么好处?
-
sitemap网站地图方便搜索引擎发现和爬取网页站点地图是一种xml文件，或者是txt，是将网站的所有网址列在这个文件中，为了方便搜索引擎发现并收录的。sitemap网站地图分两种：用于用户导...
- 如何在HarmonyOS NEXT中处理页面间的数据传递?
-
大家好，前两天的Mate70的发布，让人热血沸腾啊，不想错过，自学的小伙伴一起啊，今天分享的学习笔记是关于页面间数据伟递的问题，在HarmonyOSNEXT5.0中，页面间的数据传递可以有很多种...
- 从 Element UI 源码的构建流程来看前端 UI 库设计
-
作者：前端森林转发链接：https://mp.weixin.qq.com/s/ziDMLDJcvx07aM6xoEyWHQ引言由于业务需要，近期团队要搞一套自己的UI组件库，框架方面还是Vue。而业界...
- jq+ajax+bootstrap改了一个动态分页的表格
-
最近在维护一个很古老的项目，里面是用jq的dataTable方法实现一个分页的表格，不过这些表格的分页是本地分页。现在想要的是点击分页去请求数据。经过多次的修改，以失败告终。分页的不准确，还会有这个错...
- 学习ES6- 入门Vue(大量源代码及笔记，带你起飞)
-
ES6学习网站：https://es6.ruanyifeng.com/箭头函数普通函数//普通函数this指向调用时所在的对象(可变)letfn=functionfn(a,b){...
- 青锋微服务架构之-Ant Design Pro 基本配置
-
青锋(msxy)-Gitee.com1、更换AntDesignPro的logo和名称需要修改文件所在位置：/config/defaultSetting.jsconstproSett...
- 大数据调度服务监控平台（大数据调度服务监控平台官网）
-
简介SmartKettle是针对上述企业的痛点，对kettle的使用做了一些包装、优化，使其在web端也能具备基础的kettle作业、转换的配置、调度、监控，能在很大一定程度上协助企业完成不同...
- Flask博客实战 - 实现博客首页视图及样式
-
本套教程是一个Flask实战类教程，html/css/javascript等相关技术栈不会过多的去详细解释，那么就需要各位初学者尽可能的先去掌握这些基础知识，当然本套教程不需要你对其非常精通，但最起码...
- Web自动化测试:模拟鼠标操作(ActionChains)
-
在日常的测试中，经常会遇到需要鼠标去操作的一些事情，比如说悬浮菜单、拖动验证码等，这一节我们来学习如何使用webdriver模拟鼠标的操作首页模拟鼠标的操作要首先引入ActionChains的包fro...
- DCS F-16C 中文指南 16.9ILS仪表降落系统教程
-
10–ILS教程我们的ILS（仪表着陆进近）将到达Batumi巴统机场。ILS频率：110.30跑道航向：120磁航向/126真航向无线电塔频率：131.0001.设置雷达高度表开关打开（前）并...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML常用标签 (29)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法：GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- HTML button formtarget 属性 (30)
- CSS 水平对齐 (Horizontal Align) (30)