Java实现Http多次请求复用同一连接
zhezhongyun 2024-12-30 08:13 36 浏览
早在HTTP/1.0时代,每次HTTP请求都要创建一个连接,而创建连接的过程需要消耗资源和时间,代价相对昂贵,为了减少资源消耗,缩短响应时间,就需要重用连接。在后来的HTTP/1.1中,引入了连接复用的机制,Http Header中加入Connection: keep-alive来告诉对方这个请求响应完成后先不忙关闭,这也是本篇文章的由来。
复用的基本条件
理论基础
OSI是Open System Interconnection的缩写,意为开放式系统互联。国际标准化组织(ISO)制定了OSI模型,该模型定义了不同计算机互联的标准,是设计和描述计算机网络通信的基本框架。也就是如下七层模型:
当然也有大家熟知的五层模型,也就是把会话层、表示层、应用层合称为应用层。耳熟能详的TCP、UDP属于数量稀少的传输层协议。在这之上的应用层协议百花齐放诸如:HTTP、SMTR、FTP......,然后很多中间件也自定义了通讯协议,比如Dubbo、Mysql。
读到这里大家可能就已经清醒的意识到,即使同属应用层的协议,是否支持长连接也不尽相同。笔者想要传达的一个认知:之所以能支持长连接,那是因为TCP经历三次握手建立连接之后,如果不出现其他意外是可以保证连接状态的。也就是说应用层协议是否属于长连接仅仅取决于成功建立TCP,发送一个请求之后,对该连接的处理策略:
- 如早期的HTTP每次发送请求,Server端回复完毕之后直接关闭则是短连接
- 如Mysql处理完一条SQL请求,然后继续执行下一个则是长连接
这其实就是我们的理论基础,HTTP有希望支持长连接的前提是TCP本身就是长连接。
现实基础
HTTP协议并非魔法,不是说新增一条规范,也不是简简单单的Header中加入Connection: keep-alive就能立马支持长连接了。想要达到这个目的需要Client、Server端共同努力。
客户端譬如Chrome浏览器,服务端譬如阿里OSS,像这样两端都支持了新的规范,HTTP才能快乐的成为长连接阵营中的一员。
获取HTTP资源常见方式
因为JDK提供了相关工具、且平台相关的第三方包也足够优秀,所以Java获取HTTP资源并非难事。
@Slf4j
public class SinaPicDownload {
/* 微博上某个画师的作品 */
static final String HTTP_URL = "https://wx3.sinaimg.cn/mw2000/006jQ3i8ly1h5k50zujydj35k0334kjo.jpg";
/* 下载之后放在颜如玉电脑的io文件下 */
static final String LOCAL = "/Users/admin/io/灵魂莲华-皎月.jpeg";
public static void main(String[] args) {
try (
InputStream in = new URL(HTTP_URL).openStream();
FileOutputStream out = new FileOutputStream(LOCAL)
) {
byte[] buffer = new byte[1024 << 2];
int read;
while ((read = in.read(buffer)) > -1) {
out.write(buffer, 0, read);
}
out.flush();
}
catch (Throwable e) {
log.error("获取HTTP资源失败:", e);
}
}
}
配合Java 7之后提供的try-with-resources语法糖,你甚至仅仅只需要不到二十行的代码就可以轻而易举的达到目的,但是缺点也显而易见,通过这种方法每次只能获取一个资源,用完之后只能完毕。我当时就在想,Java怎么实现一次连接多次请求呢?
Transfer-Encoding
笔者在上文提到的理论基础上推测到肯定可以使用Java提供的Socket建立TCP连接,关键问题是怎么跟Server端描述HTTP请求呢?
类比到现实生活中,两者能顺畅交流必然要求双方都可以听懂对方的语言。那HTTP有没有一种Client、Server都能解析的规范呢,HTTP Transfer-Encoding正是在这种背景下应运而生。通俗的来讲Transfer-Encoding就是一种双方都约定好的格式,我按照这个格式Encoding,你按照这个格式Decoding,ta大概长这个样子:
可想而知刚刚获取那张图片资源的是时候,我们肯定是这么跟新浪微博服务端说的:
声明:
- 真实的Request Line与图中一致
- Header其实复杂很多,配图做了简化
- 该请求Body为空,图中略过
简略实现
先声明一些常量,以备后用
@Slf4j
public class ReusableHttp {
/* 颜如玉公司的OSS服务域名 */
static final String HOST = "****.oss-cn-zhangjiakou.aliyuncs.com";
static final int PORT = 80;
/* 颜如玉在OSS上放置的几个资源 */
static final String[] URLS = new String[]{
"/context/reusable/gtyj.text",
"/context/reusable/tlyxqch.text",
"/context/reusable/yj.text",
"/context/reusable/ls.text"
};
/* CR = '\r'; LF = '\n'*/
static final byte[] CRLF = new byte[]{Chars.CR, Chars.LF};
static final String LOCAL_PATH = "/Users/admin/io/";
}
建立TCP连接,然后获得输出,输入流
public static void main(String[] args) {
try {
try (
Socket socket = new Socket(HOST, PORT);
OutputStream out = socket.getOutputStream();
InputStream in = socket.getInputStream()
) {
/* 复用连接,获取资源 */
reusable(out, in);
}
}
catch (IOException e) {
log.error("请求出现异常", e);
}
}
写出Request Line
/**
* Write Request Line
*
* RequestLine encoding规范
*
* **********************************************
* * method * sp * URL * sp * version * cr * lf *
* **********************************************
*/
static void writeRequestLine(OutputStream out, String url) throws IOException {
/* 注意空格一定要按照规定来摆放 */
out.write(("GET " + url + " HTTP/1.1").getBytes());
/* 最后再写入一个回车、换行符表示Request Line结束 */
out.write(CRLF);
}
写出Request Header
/**
* Write Request Header
*
* HeaderLine encoding规范
*
* *******************************************
* * header field name * : * value * cr * lf *
* *******************************************
* ....
* *******************************************
* * header field name * : * value * cr * lf *
* *******************************************
* ...
* ***********
* * cr * lf *
* ***********
* ***************
* * Entity Body *
* ***************
*/
static void writeHeaderLine(OutputStream out) throws IOException {
out.write("Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9".getBytes());
out.write(CRLF);
out.write("Accept-Encoding: gzip, deflate".getBytes());
out.write(CRLF);
out.write("Accept-Language: zh-CN,zh;q=0.9".getBytes());
out.write(CRLF);
out.write("Connection: keep-alive".getBytes());
out.write(CRLF);
out.write("Host: kuaimai-sheji.oss-cn-zhangjiakou.aliyuncs.com".getBytes());
out.write(CRLF);
/* 最后再写入一个回车、换行符表示Request Header结束 */
out.write(CRLF);
}
因为是简单的请求,所以直接省略Request Body。发出如上报文后,Server端会解析请求,然后回复。
/**
* 1.向Server端写出请求
* 2.接受Server端回复
* 3.写到颜如玉本地机器的io文件夹下
*
* @param out 往Server端写出流
* @param in Server端往Client端写入流
*/
static void reusable(OutputStream out, InputStream in) throws IOException {
for (int i = 0, s = URLS.length; i < s; i++) {
writeRequestLine(out, URLS[i]);
writeHeaderLine(out);
out.flush();
byte[] bytes = new byte[512];
in.read(bytes);
String file = LOCAL_PATH + i + ".text";
try (
FileOutputStream fo = new FileOutputStream(file)
) {
fo.write(bytes);
fo.flush();
}
catch (Throwable e) {
log.error("文件写入出现异常", e);
}
}
}
可以看到功能已经实现,同一连接我反复请求了四次,最终得到四个资源。
作者:颜如玉
链接:https://juejin.cn/post/7159977597571432478
来源:稀土掘金
相关推荐
- 「layui」表单验证:验证注册
-
注册界面手动验证获取短信验证码代码原文<!DOCTYPEhtml><htmllang="zh"><head>&...
- Full text: Joint statement between China and Kenya on creating an inspiring example in the all-weather China-Africa community with a shared future for the new era
-
JointStatementBetweenthePeople'sRepublicofChinaandtheRepublicofKenyaonCreatinganInspi...
- 国际组织最新岗位信息送给你
-
国际刑警组织PostingTitleITLogisticsManagerGrade5DutyStationAbidjan,IvoryCoastDeadlineforApplicatio...
- 【新功能】Spire.PDF 8.12.5 支持设置表单域的可见与隐藏属性
-
Spire.PDF8.12.5已发布。该版本新增支持设置表单域的可见与隐藏属性、添加自定义的元数据以及给PDF文档的元数据添加新的命名空间。本次更新还增强了PDF到DOCX和图片的转换...
- AI curbs show Biden's rejection of cooperation
-
AIcurbsshowBiden'srejectionofcooperation:ChinaDailyeditorial-Opinion-Chinadaily.com.cnT...
- “煤气灯效应”上热搜,这几种有毒的“情感关系”也要注意了……
-
近日,“煤气灯效应”(theGaslightEffect)再次进入公众视野并登上热搜,引发网友广泛关注。那么,什么是“煤气灯效应”?以“爱”之名进行情绪控制在心理学中,通过“扭曲受害者眼中的真实”...
- Qt编写推流程序/支持webrtc265/从此不用再转码/打开新世界的大门
-
一、前言在推流领域,尤其是监控行业,现在主流设备基本上都是265格式的视频流,想要在网页上直接显示监控流,之前的方案是,要么转成hls,要么魔改支持265格式的flv,要么265转成264,如果要追求...
- 写给运维的Nginx秘籍
-
要说Web服务器、代理服务器和调度服务器层面,目前使用最大的要数Nginx。对于一个运维工程师日常不可避免要和Nginx打交道。为了更好地使用和管理Nginx,本文就给大家介绍几个虫虫日常常用的秘籍。...
- 突破亚马逊壁垒,Web Unlocker API 助您轻松获取数据
-
在数据驱动决策的时代,电商平台的海量数据是十足金贵的。然而,像亚马逊这样的巨头为保护自身数据资产,构建了近乎完美的反爬虫防线,比如IP封锁、CAPTCHA验证、浏览器指纹识别,常规爬虫工具在这些防线面...
- 每日一库之 logrus 日志使用教程
-
golang日志库golang标准库的日志框架非常简单,仅仅提供了print,panic和fatal三个函数对于更精细的日志级别、日志文件分割以及日志分发等方面并没有提供支持.所以催生了很多第三方...
- 对比测评:为什么AI编程工具需要 Rules 能力?
-
通义灵码ProjectRules在开始体验通义灵码ProjectRules之前,我们先来简单了解一下什么是通义灵码ProjectRules?大家都知道,在使用AI代码助手的时候,有时...
- python 面向对象编程
-
Python的面向对象编程(OOP)将数据和操作封装在对象中,以下是深度解析和现代最佳实践:一、核心概念重构1.类与实例的底层机制classRobot:__slots__=['...
- Windows系统下常用的Dos命令介绍(一)
-
DOS是英文DiskOperatingSystem的缩写,意思是“磁盘操作系统”。DOS主要是一种面向磁盘的系统软件,说得简单些,DOS就是人给机器下达命令的集合,是存储在操作系统中的命令集。主要...
- 使用 Flask-Admin 快速开发博客后台管理系统:关键要点解析
-
一、为什么选择Flask-Admin?Flask-Admin是Flask生态中高效的后台管理框架,核心优势在于:-零代码生成CRUD界面:基于数据库模型自动生成增删改查功能-高度可定制...
- Redis淘汰策略导致数据丢失?
-
想象一下,你的Redis服务器是一个合租宿舍,内存就是床位。当新数据(新室友)要住进来,但床位已满时,你作为宿管(淘汰策略)必须决定:让谁卷铺盖走人?Redis提供了8种"劝退"方案,...
- 一周热门
- 最近发表
-
- 「layui」表单验证:验证注册
- Full text: Joint statement between China and Kenya on creating an inspiring example in the all-weather China-Africa community with a shared future for the new era
- 国际组织最新岗位信息送给你
- 【新功能】Spire.PDF 8.12.5 支持设置表单域的可见与隐藏属性
- AI curbs show Biden's rejection of cooperation
- “煤气灯效应”上热搜,这几种有毒的“情感关系”也要注意了……
- Qt编写推流程序/支持webrtc265/从此不用再转码/打开新世界的大门
- 写给运维的Nginx秘籍
- 突破亚马逊壁垒,Web Unlocker API 助您轻松获取数据
- 每日一库之 logrus 日志使用教程
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- HTML 参考手册 (28)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML常用标签 (29)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法:GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- HTML button formtarget 属性 (30)