netty系列之:搭建HTTP上传文件服务器
zhezhongyun 2024-12-31 15:46 28 浏览
简介
上一篇的文章中,我们讲到了如何从HTTP服务器中下载文件,和搭建下载文件服务器应该注意的问题,使用的GET方法。本文将会讨论一下常用的向服务器提交数据的POST方法和如何向服务器上传文件。
GET方法上传数据
按照HTTP的规范,PUT一般是向服务器上传数据,虽然不提倡,但是也可以使用GET向服务器端上传数据。
先看下GET客户端的构建中需要注意的问题。
GET请求实际上就是一个URI,URI后面带有请求的参数,netty提供了一个QueryStringEncoder专门用来构建参数内容:
// HTTP请求
QueryStringEncoder encoder = new QueryStringEncoder(get);
// 添加请求参数
encoder.addParam("method", "GET");
encoder.addParam("name", "flydean");
encoder.addParam("site", "www.flydean.com");
URI uriGet = new URI(encoder.toString());
有了请求URI,就可以创建HttpRequest了,当然这个HttpRequest中还需要有对应的HTTP head数据:
HttpRequest request = new DefaultHttpRequest(HttpVersion.HTTP_1_1, HttpMethod.GET, uriGet.toASCIIString());
HttpHeaders headers = request.headers();
headers.set(HttpHeaderNames.HOST, host);
headers.set(HttpHeaderNames.CONNECTION, HttpHeaderValues.CLOSE);
headers.set(HttpHeaderNames.ACCEPT_ENCODING, HttpHeaderValues.GZIP + "," + HttpHeaderValues.DEFLATE);
headers.set(HttpHeaderNames.ACCEPT_LANGUAGE, "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
headers.set(HttpHeaderNames.REFERER, uriSimple.toString());
headers.set(HttpHeaderNames.USER_AGENT, "Netty Simple Http Client side");
headers.set(HttpHeaderNames.ACCEPT, "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
headers.set(
HttpHeaderNames.COOKIE, ClientCookieEncoder.STRICT.encode(
new DefaultCookie("name", "flydean"),
new DefaultCookie("site", "www.flydean.com"))
);
我们知道HttpRequest中只有两部分数据,分别是HttpVersion和HttpHeaders。HttpVersion就是HTTP协议的版本号,HttpHeaders就是设置的header内容。
对于GET请求来说,因为所有的内容都包含在URI中,所以不需要额外的HTTPContent,直接发送HttpRequest到服务器就可以了。
channel.writeAndFlush(request);
然后看下服务器端接收GET请求之后怎么进行处理。
服务器端收到HttpObject对象的msg之后,需要将其转换成HttpRequest对象,就可以通过protocolVersion(),uri()和headers()拿到相应的信息。
对于URI中的参数,netty提供了QueryStringDecoder类可以方便的对URI中参数进行解析:
//解析URL中的参数
QueryStringDecoder decoderQuery = new QueryStringDecoder(request.uri());
Map<String, List<String>> uriAttributes = decoderQuery.parameters();
for (Entry<String, List<String>> attr: uriAttributes.entrySet()) {
for (String attrVal: attr.getValue()) {
responseContent.append("URI: ").append(attr.getKey()).append('=').append(attrVal).append("\r\n");
}
}
POST方法上传数据
对于POST请求,它比GET请求多了一个HTTPContent,也就是说除了基本的HttpRequest数据之外,还需要一个PostBody。
如果只是一个普通的POST,也就是POST内容都是key=value的形式,则比较简单,如果POST中包含有文件,那么会比较复杂,需要用到ENCTYPE=”multipart/form-data”。
netty提供了一个HttpPostRequestEncoder类,用于快速对request body进行编码,先看下HttpPostRequestEncoder类的完整构造函数:
public HttpPostRequestEncoder(
HttpDataFactory factory, HttpRequest request, boolean multipart, Charset charset,
EncoderMode encoderMode)
其中request就是要编码的HttpRequest,multipart表示是否是”multipart/form-data”的格式,charset编码方式,默认情况下是CharsetUtil.UTF_8。encoderMode是编码的模式,目前有三种编码模式,分别是RFC1738,RFC3986和HTML5。
默认情况下的编码模式是RFC1738,这也是大多数form提交数据的编码方式。但是它并不适用于OAUTH,如果要使用OAUTH的话,则可以使用RFC3986。HTML5禁用了multipart/form-data的混合模式。
最后,我们讲讲HttpDataFactory。factory主要用来创建InterfaceHttpData。它有一个minSize参数,如果创建的HttpData大小大于minSize则会存放在磁盘中,否则直接在内存中创建。
InterfaceHttpData有三种HttpData的类型,分别是Attribute, FileUpload和InternalAttribute。
Attribute就是POST请求中传入的属性值。FileUpload就是POST请求中传入的文件,还有InternalAttribute是在encoder内部使用的,这里不过多讨论。
因此,根据传入的minSize参数大小,Attribute和FileUpload可以被分成下面几种:
MemoryAttribute, DiskAttribute or MixedAttribute
MemoryFileUpload, DiskFileUpload or MixedFileUpload
在这一节我们先看一下在POST请求中并不上传文件的处理方式,首先创建HTTP request和PostBody encoder:
// 构建HTTP request
HttpRequest request = new DefaultHttpRequest(HttpVersion.HTTP_1_1, HttpMethod.POST, uriSimple.toASCIIString());
HttpPostRequestEncoder bodyRequestEncoder =
new HttpPostRequestEncoder(factory, request, false);
向request中添加headers:
// 添加headers
for (Entry<String, String> entry : headers) {
request.headers().set(entry.getKey(), entry.getValue());
}
然后再向bodyRequestEncoder中添加form属性:
// 添加form属性
bodyRequestEncoder.addBodyAttribute("method", "POST");
bodyRequestEncoder.addBodyAttribute("name", "flydean");
bodyRequestEncoder.addBodyAttribute("site", "www.flydean.com");
bodyRequestEncoder.addBodyFileUpload("myfile", file, "application/x-zip-compressed", false);
注意,上面我们向bodyRequestEncoder中添加了method,name和site这几个属性。然后添加了一个FileUpload。但是因为我们的编码方式并不是”multipart/form-data”,所以这里传递的只是文件名,并不是整个文件。
最后,我们要调用bodyRequestEncoder的finalizeRequest方法,返回最终要发送的request。在finalizeRequest的过程中,还会根据传输数据的大小来设置transfer-encoding是否为chunked。
如果传输的内容比较大,则需要分段进行传输,这时候需要设置transfer-encoding = chunked,否则不进行设置。
最后发送请求:
// 发送请求
channel.write(request);
在server端,我们同样需要构造一个HttpDataFactory,然后使用这个factory来构造一个HttpPostRequestDecoder,来对encoder出来的数据进行decode:
HttpDataFactory factory =
new DefaultHttpDataFactory(DefaultHttpDataFactory.MINSIZE);
//POST请求
decoder = new HttpPostRequestDecoder(factory, request);
因为server端收到的消息根据发送消息的长度可以能是HttpContent,也可能是LastHttpContent。如果是HttpContent,我们将解析的结果放到一个StringBuilder中缓存起来,等接收到LastHttpContent再一起发送出去即可。
在收到HttpContent之后,我们调用decoder.offer方法,对HttpContent进行解码:
decoder.offer(chunk);
在decoder内部有两个存储HttpData数据的容器,分别是:
List<InterfaceHttpData> bodyListHttpData
和
Map<String, List<InterfaceHttpData>> bodyMapHttpData
decoder.offer就是对chunk进行解析,然后将解析过后的数据填充到bodyListHttpData和bodyMapHttpData中。
解析过后,就可以对解析过后的数据进行读取了。
可以通过decoder的hasNext和next方法对bodyListHttpData进行遍历,从而获取到对应的InterfaceHttpData。
通过data.getHttpDataType()可以拿到InterfaceHttpData的数据类型,上面也讲过了有Attribute和FileUpload两种类型。
POST方法上传文件
如果要POST文件,客户端在创建HttpPostRequestEncoder的时候传入multipart=true即可:
HttpPostRequestEncoder bodyRequestEncoder =
new HttpPostRequestEncoder(factory, request, true);
然后分别调用setBodyHttpDatas和finalizeRequest方法,生成HttpRequest就可以向channel写入了:
// 添加body http data
bodyRequestEncoder.setBodyHttpDatas(bodylist);
// finalize request,判断是否需要chunk
request = bodyRequestEncoder.finalizeRequest();
// 发送请求头
channel.write(request);
要注意,如果是transfer-encoding = chunked,那么这个HttpRequest只是请求头的信息,我们还需要手动将HttpContent写入到channel中:
// 判断bodyRequestEncoder是否是Chunked,发送请求内容
if (bodyRequestEncoder.isChunked()) {
channel.write(bodyRequestEncoder);
}
在server端,通过判断InterfaceHttpData的getHttpDataType,如果是FileUpload类型,则说明拿到了上传的文件,则可以通过下面的方法来读取到文件的内容:
FileUpload fileUpload = (FileUpload) data;
responseContent.append(fileUpload.getString(fileUpload.getCharset()));
这样我们就可以在服务器端拿到客户端传过来的文件了。
总结
HTTP的文件上传需要考虑的问题比较多,大家有不明白的可以参考我的例子。或者留言给我一起讨论。
本文的例子可以参考:learn-netty4
本文已收录于 http://www.flydean.com/21-netty-http-fileupload/
最通俗的解读,最深刻的干货,最简洁的教程,众多你不知道的小技巧等你来发现!
欢迎关注我的公众号:「程序那些事」,懂技术,更懂你!
相关推荐
- 「layui」表单验证:验证注册
-
注册界面手动验证获取短信验证码代码原文<!DOCTYPEhtml><htmllang="zh"><head>&...
- Full text: Joint statement between China and Kenya on creating an inspiring example in the all-weather China-Africa community with a shared future for the new era
-
JointStatementBetweenthePeople'sRepublicofChinaandtheRepublicofKenyaonCreatinganInspi...
- 国际组织最新岗位信息送给你
-
国际刑警组织PostingTitleITLogisticsManagerGrade5DutyStationAbidjan,IvoryCoastDeadlineforApplicatio...
- 【新功能】Spire.PDF 8.12.5 支持设置表单域的可见与隐藏属性
-
Spire.PDF8.12.5已发布。该版本新增支持设置表单域的可见与隐藏属性、添加自定义的元数据以及给PDF文档的元数据添加新的命名空间。本次更新还增强了PDF到DOCX和图片的转换...
- AI curbs show Biden's rejection of cooperation
-
AIcurbsshowBiden'srejectionofcooperation:ChinaDailyeditorial-Opinion-Chinadaily.com.cnT...
- “煤气灯效应”上热搜,这几种有毒的“情感关系”也要注意了……
-
近日,“煤气灯效应”(theGaslightEffect)再次进入公众视野并登上热搜,引发网友广泛关注。那么,什么是“煤气灯效应”?以“爱”之名进行情绪控制在心理学中,通过“扭曲受害者眼中的真实”...
- Qt编写推流程序/支持webrtc265/从此不用再转码/打开新世界的大门
-
一、前言在推流领域,尤其是监控行业,现在主流设备基本上都是265格式的视频流,想要在网页上直接显示监控流,之前的方案是,要么转成hls,要么魔改支持265格式的flv,要么265转成264,如果要追求...
- 写给运维的Nginx秘籍
-
要说Web服务器、代理服务器和调度服务器层面,目前使用最大的要数Nginx。对于一个运维工程师日常不可避免要和Nginx打交道。为了更好地使用和管理Nginx,本文就给大家介绍几个虫虫日常常用的秘籍。...
- 突破亚马逊壁垒,Web Unlocker API 助您轻松获取数据
-
在数据驱动决策的时代,电商平台的海量数据是十足金贵的。然而,像亚马逊这样的巨头为保护自身数据资产,构建了近乎完美的反爬虫防线,比如IP封锁、CAPTCHA验证、浏览器指纹识别,常规爬虫工具在这些防线面...
- 每日一库之 logrus 日志使用教程
-
golang日志库golang标准库的日志框架非常简单,仅仅提供了print,panic和fatal三个函数对于更精细的日志级别、日志文件分割以及日志分发等方面并没有提供支持.所以催生了很多第三方...
- 对比测评:为什么AI编程工具需要 Rules 能力?
-
通义灵码ProjectRules在开始体验通义灵码ProjectRules之前,我们先来简单了解一下什么是通义灵码ProjectRules?大家都知道,在使用AI代码助手的时候,有时...
- python 面向对象编程
-
Python的面向对象编程(OOP)将数据和操作封装在对象中,以下是深度解析和现代最佳实践:一、核心概念重构1.类与实例的底层机制classRobot:__slots__=['...
- Windows系统下常用的Dos命令介绍(一)
-
DOS是英文DiskOperatingSystem的缩写,意思是“磁盘操作系统”。DOS主要是一种面向磁盘的系统软件,说得简单些,DOS就是人给机器下达命令的集合,是存储在操作系统中的命令集。主要...
- 使用 Flask-Admin 快速开发博客后台管理系统:关键要点解析
-
一、为什么选择Flask-Admin?Flask-Admin是Flask生态中高效的后台管理框架,核心优势在于:-零代码生成CRUD界面:基于数据库模型自动生成增删改查功能-高度可定制...
- Redis淘汰策略导致数据丢失?
-
想象一下,你的Redis服务器是一个合租宿舍,内存就是床位。当新数据(新室友)要住进来,但床位已满时,你作为宿管(淘汰策略)必须决定:让谁卷铺盖走人?Redis提供了8种"劝退"方案,...
- 一周热门
- 最近发表
-
- 「layui」表单验证:验证注册
- Full text: Joint statement between China and Kenya on creating an inspiring example in the all-weather China-Africa community with a shared future for the new era
- 国际组织最新岗位信息送给你
- 【新功能】Spire.PDF 8.12.5 支持设置表单域的可见与隐藏属性
- AI curbs show Biden's rejection of cooperation
- “煤气灯效应”上热搜,这几种有毒的“情感关系”也要注意了……
- Qt编写推流程序/支持webrtc265/从此不用再转码/打开新世界的大门
- 写给运维的Nginx秘籍
- 突破亚马逊壁垒,Web Unlocker API 助您轻松获取数据
- 每日一库之 logrus 日志使用教程
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- HTML 参考手册 (28)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML常用标签 (29)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法:GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- HTML button formtarget 属性 (30)