[904]ScalersTalk成长会Python小组第20周学习笔记
zhezhongyun 2024-12-30 08:12 55 浏览
Scalers点评：在2015年，ScalersTalk成长会Python小组完成了《Python核心编程》第1轮的学习。到2016年，我们开始第二轮的学习，并且将重点放在章节的习题上。Python小组是成长会内部小组，如果你想和我们一起学习Python，你需要是成长会成员，并且完成相关进群任务。
我们的节奏是一周一章学到位，章节习题都会一个一个过。通过到位地执行，达到实质性的提升。
往期日志：
本周学习情况
本周（20160613-20160619）学习第二十章，章节内容为《web编程》，本周复盘主持人为祥子
本章主要内容
本章主要讲述了urlparse模块，主要包括3个函数，urlparse，unurlparse，urljoin，如何对URL字符串的解析；基于urllib模块的网络爬虫，包括urlopen 、urlretrieve 、quote 、unquote 、quote_plus、urlencode。
第一部分：urlparse模块
url格式：Prot_sch://net_loc/path;params?query#fragment
例子
net_loc:user:passwd@host:port
password:用户的密码
host:web服务器运行的机器名或地址（必须字段）
port:端口号（默认80）
处理URL 的模块：urlparse 、urllib
urlparse模块的函数：urlparse、urlunparse、urljoin
功能 ：
urlparse格式：
urlparse(urlstr,defProtSch = None,allowFrag=None)
将urlstr解析成一个6元组（prot_sch，net_loc，path，params，query，fragment）
>>> import urlparse
>>> urlparse.urlparse('http://www.latexstudio.net/archives/category/tex-tips') ParseResult(scheme='http', netloc='www.latexstudio.net',
path='/archives/category/tex-tips', params='', query='', fragment='')
>>> urlparse.urlparse('http://www.sandia.gov/~tgkolda/TensorToolbox/index-2.6.html') ParseResult(scheme='http', netloc='www.sandia.gov',
path='/~tgkolda/TensorToolbox/index-2.6.html', params='', query='', fragment='')urlunparse 与urlparse功能相反
公式： urlunparse(urlparse(urlstr)) = urlstr
语法公式：urlparse.urlunparse
例子：
>>> a=urlparse.urlparse('http://www.sandia.gov/~tgkolda/TensorToolbox/index-2.6.html')
>>> a ParseResult(scheme='http', netloc='www.sandia.gov',
path='/~tgkolda/TensorToolbox/index-2.6.html', params='', query='', fragment='')
>>> urlparse.urlunparse(a)'http://www.sandia.gov/~tgkolda/TensorToolbox/index-2.6.html'urlparse.urljoin 需要多个相关的URL时使用urljoin
语法：urljoin(baseurl,newurl,allowFrag = None)
baseurl : 基路径 除了终端的文件名
newurl ：新的路径文件名
例子：
>>> urlparse.urljoin('http://www.python.org/doc/FAQ.html','current/lib/lib.htm')
'http://www.python.org/doc/current/lib/lib.htm'
>>> urlparse.urljoin('http://www.python.org/doc/e/FAQ.html','faf.htm')
'http://www.python.org/doc/e/faf.htm'总结：
第二部分：urllib模块
函数：
urlopen
urlretrieve
quote
unquote
quote_plus
urlencode
urllib.urlopen :
打开一个给定的URL字符串与WEB连接，并返回了文件类的对象。
语法：urlopen(urlstr,postQueryData = None)
urlopen打开urlstr所指向的URL
read 读出所有的
readline : 读出一行
readlines: 读出所有的行
close: 关闭URL的连接
fileno 返回文件句柄
geturl 返回所打开的真正URL
info 返回mime头文件
例子：
>>> a=urllib.urlopen('http://www.bioconductor.org/')
>>> a.readline
'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\n'
>>> a.fileno
940L
>>> a.info <httplib.HTTPMessage instance at 0x0000000003A93288>
>>> a.geturl
'http://www.bioconductor.org/'urllib.urlretrieve
语法： urlretrieve(urlstr,localfile=None,downloadStatusHook=None)
将html文件下载到本地磁盘中。返回(filename,mime_hdrs) :filename 包含下载数据的本地文件名，mime_hdrs 对web服务器响应后返回的一系列MIME文件头。
urllib.qutote
获取URL数据，并将其编码，从而适用于URL字符中。尤其一些不能被打印的或者不被WEB服务器作为有效URL接收的特殊字符串必须被转换。逗号、下划线、句号、斜线、字母数字不需要转化。
语法：quote(urldata,safe=’/’) urldata字符串被转换成一个可在URL字符串中使用的等价值，safe字符串可以包含一系列的不能被转换的字符。默认为斜线(/)
例子：
>>> name = 'joe mama'
>>> number = 6
>>> base = 'http://www/~foo/cgi-bin/s.py'
>>> final = '%s?name=%s&num=%d' %(base,name,number)
>>> final
'http://www/~foo/cgi-bin/s.py?name=joe mama&num=6'
>>> urllib.quote(final)
'http%3A//www/%7Efoo/cgi-bin/s.py%3Fname%3Djoe%20mama%26num%3D6'
>>> urllib.quote_plus(final)'http%3A%2F%2Fwww%2F%7Efoo%2Fcgi-bin%2Fs.py%3Fname%3Djoe+mama%26num%3D6'总结:功能相似，后者转换更加的全面，还将空格转为+
urllib.unquote 与 urllib.unquote_plus 将所有”%xx” 转为ASCII
urllib.urlencode
将字典键值对转为键=值。以连接符&划分
例子：
>>> aDict={'name':'Georgina Garcia','hmdir':'~ggarcia'}
>>> urllib.urlencode(aDict)
'name=Georgina+Garcia&hmdir=%7Eggarcia'
ScalersTalkID:scalerstalk本微信公众号作者Scalers，游走在口译世界的IT从业者。微信公众号ScalersTalk，微博@Scalers，网站ScalersTalk.com，口译100小时训练计划群C 456036104
成长会是由Scalers发起的面向成长、实践行动，且凝聚了来自全球各地各行各业从业者的社群。有意入会者请和Scalers直接联系，我和其他会员会和你直接交流关于成长行动等各方面的经验教训。2016年成长会持续招募中，参见做能说会写的持续行动者：ScalersTalk成长会2016年会员计划介绍(2016.3更新)
相关推荐
- Python入门学习记录之一:变量_python怎么用变量
-
写这个，主要是对自己学习python知识的一个总结，也是加深自己的印象。变量（英文：variable），也叫标识符。在python中，变量的命名规则有以下三点：>变量名只能包含字母、数字和下划线...
- python变量命名规则——来自小白的总结
-
python是一个动态编译类编程语言，所以程序在运行前不需要如C语言的先行编译动作，因此也只有在程序运行过程中才能发现程序的问题。基于此，python的变量就有一定的命名规范。python作为当前热门...
- Python入门学习教程:第 2 章 变量与数据类型
-
2.1什么是变量？在编程中，变量就像一个存放数据的容器，它可以存储各种信息，并且这些信息可以被读取和修改。想象一下，变量就如同我们生活中的盒子，你可以把东西放进去，也可以随时拿出来看看，甚至可以换成...
- 绘制学术论文中的“三线表”具体指导
-
在科研过程中，大家用到最多的可能就是“三线表”。“三线表”，一般主要由三条横线构成，当然在变量名栏里也可以拆分单元格，出现更多的线。更重要的是，“三线表”也是一种数据记录规范，以“三线表”形式记录的数...
- Python基础语法知识--变量和数据类型
-
学习Python中的变量和数据类型至关重要，因为它们构成了Python编程的基石。以下是帮助您了解Python中的变量和数据类型的分步指南：1.变量：变量在Python中用于存储数据值。它们充...
- 一文搞懂 Python 中的所有标点符号
-
反引号`无任何作用。传说Python3中它被移除是因为和单引号字符'太相似。波浪号~（按位取反符号）~被称为取反或补码运算符。它放在我们想要取反的对象前面。如果放在一个整数n...
- Python变量类型和运算符_python中变量的含义
-
别再被小名词坑哭了：Python新手常犯的那些隐蔽错误，我用同事的真实bug拆给你看我记得有一次和同事张姐一起追查一个看似随机崩溃的脚本，最后发现罪魁祸首竟然是她把变量命名成了list。说实话...
- 从零开始:深入剖析 Spring Boot3 中配置文件的加载顺序
-
在当今的互联网软件开发领域，SpringBoot无疑是最为热门和广泛应用的框架之一。它以其强大的功能、便捷的开发体验，极大地提升了开发效率，成为众多开发者构建Web应用程序的首选。而在Spr...
- Python中下划线 ‘_’ 的用法，你知道几种
-
Python中下划线()是一个有特殊含义和用途的符号，它可以用来表示以下几种情况：1在解释器中，下划线(_)表示上一个表达式的值，可以用来进行快速计算或测试。例如：>>>2+...
- 解锁Shell编程:变量_shell $变量
-
引言：开启Shell编程大门Shell作为用户与Linux内核之间的桥梁，为我们提供了强大的命令行交互方式。它不仅能执行简单的文件操作、进程管理，还能通过编写脚本实现复杂的自动化任务。无论是...
- 一文学会Python的变量命名规则!_python的变量命名有哪些要求
-
目录1.变量的命名原则3.内置函数尽量不要做变量4.删除变量和垃圾回收机制5.结语1.变量的命名原则①由英文字母、_(下划线)、或中文开头②变量名称只能由英文字母、数字、下画线或中文字所组成。③英文字...
- 更可靠的Rust-语法篇-区分语句/表达式，略览if/loop/while/for
-
src/main.rs://函数定义fnadd(a:i32,b:i32)->i32{a+b//末尾表达式}fnmain(){leta:i3...
- C++第五课:变量的命名规则_c++中变量的命名规则
-
变量的命名不是想怎么起就怎么起的，而是有一套固定的规则的。具体规则：1.名字要合法：变量名必须是由字母、数字或下划线组成。例如：a，a1，a_1。2.开头不能是数字。例如：可以a1，但不能起1a。3....
- Rust编程-核心篇-不安全编程_rust安全性
-
Unsafe的必要性Rust的所有权系统和类型系统为我们提供了强大的安全保障，但在某些情况下，我们需要突破这些限制来：与C代码交互实现底层系统编程优化性能关键代码实现某些编译器无法验证的安全操作Rus...
- 探秘 Python 内存管理:背后的神奇机制
-
在编程的世界里，内存管理就如同幕后的精密操控者，确保程序的高效运行。Python作为一种广泛使用的编程语言，其内存管理机制既巧妙又复杂，为开发者们提供了便利的同时，也展现了强大的底层控制能力。一、P...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法：GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- opacity 属性 (32)
- transition 属性 (33)
- 1-1. 变量声明 (31)