百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

netty系列之:搭建HTTP上传文件服务器

zhezhongyun 2024-12-31 15:46 57 浏览

简介

上一篇的文章中,我们讲到了如何从HTTP服务器中下载文件,和搭建下载文件服务器应该注意的问题,使用的GET方法。本文将会讨论一下常用的向服务器提交数据的POST方法和如何向服务器上传文件。

GET方法上传数据

按照HTTP的规范,PUT一般是向服务器上传数据,虽然不提倡,但是也可以使用GET向服务器端上传数据。

先看下GET客户端的构建中需要注意的问题。

GET请求实际上就是一个URI,URI后面带有请求的参数,netty提供了一个QueryStringEncoder专门用来构建参数内容:

// HTTP请求
        QueryStringEncoder encoder = new QueryStringEncoder(get);
        // 添加请求参数
        encoder.addParam("method", "GET");
        encoder.addParam("name", "flydean");
        encoder.addParam("site", "www.flydean.com");
        URI uriGet = new URI(encoder.toString());

有了请求URI,就可以创建HttpRequest了,当然这个HttpRequest中还需要有对应的HTTP head数据:

HttpRequest request = new DefaultHttpRequest(HttpVersion.HTTP_1_1, HttpMethod.GET, uriGet.toASCIIString());
        HttpHeaders headers = request.headers();
        headers.set(HttpHeaderNames.HOST, host);
        headers.set(HttpHeaderNames.CONNECTION, HttpHeaderValues.CLOSE);
        headers.set(HttpHeaderNames.ACCEPT_ENCODING, HttpHeaderValues.GZIP + "," + HttpHeaderValues.DEFLATE);
        headers.set(HttpHeaderNames.ACCEPT_LANGUAGE, "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");
        headers.set(HttpHeaderNames.REFERER, uriSimple.toString());
        headers.set(HttpHeaderNames.USER_AGENT, "Netty Simple Http Client side");
        headers.set(HttpHeaderNames.ACCEPT, "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");

        headers.set(
                HttpHeaderNames.COOKIE, ClientCookieEncoder.STRICT.encode(
                        new DefaultCookie("name", "flydean"),
                        new DefaultCookie("site", "www.flydean.com"))
        );

我们知道HttpRequest中只有两部分数据,分别是HttpVersion和HttpHeaders。HttpVersion就是HTTP协议的版本号,HttpHeaders就是设置的header内容。

对于GET请求来说,因为所有的内容都包含在URI中,所以不需要额外的HTTPContent,直接发送HttpRequest到服务器就可以了。

channel.writeAndFlush(request);

然后看下服务器端接收GET请求之后怎么进行处理。

服务器端收到HttpObject对象的msg之后,需要将其转换成HttpRequest对象,就可以通过protocolVersion(),uri()和headers()拿到相应的信息。

对于URI中的参数,netty提供了QueryStringDecoder类可以方便的对URI中参数进行解析:

//解析URL中的参数
            QueryStringDecoder decoderQuery = new QueryStringDecoder(request.uri());
            Map<String, List<String>> uriAttributes = decoderQuery.parameters();
            for (Entry<String, List<String>> attr: uriAttributes.entrySet()) {
                for (String attrVal: attr.getValue()) {
                    responseContent.append("URI: ").append(attr.getKey()).append('=').append(attrVal).append("\r\n");
                }
            }

POST方法上传数据

对于POST请求,它比GET请求多了一个HTTPContent,也就是说除了基本的HttpRequest数据之外,还需要一个PostBody。

如果只是一个普通的POST,也就是POST内容都是key=value的形式,则比较简单,如果POST中包含有文件,那么会比较复杂,需要用到ENCTYPE=”multipart/form-data”。

netty提供了一个HttpPostRequestEncoder类,用于快速对request body进行编码,先看下HttpPostRequestEncoder类的完整构造函数:

public HttpPostRequestEncoder(
            HttpDataFactory factory, HttpRequest request, boolean multipart, Charset charset,
            EncoderMode encoderMode)

其中request就是要编码的HttpRequest,multipart表示是否是”multipart/form-data”的格式,charset编码方式,默认情况下是CharsetUtil.UTF_8。encoderMode是编码的模式,目前有三种编码模式,分别是RFC1738,RFC3986和HTML5。

默认情况下的编码模式是RFC1738,这也是大多数form提交数据的编码方式。但是它并不适用于OAUTH,如果要使用OAUTH的话,则可以使用RFC3986。HTML5禁用了multipart/form-data的混合模式。

最后,我们讲讲HttpDataFactory。factory主要用来创建InterfaceHttpData。它有一个minSize参数,如果创建的HttpData大小大于minSize则会存放在磁盘中,否则直接在内存中创建。

InterfaceHttpData有三种HttpData的类型,分别是Attribute, FileUpload和InternalAttribute。

Attribute就是POST请求中传入的属性值。FileUpload就是POST请求中传入的文件,还有InternalAttribute是在encoder内部使用的,这里不过多讨论。

因此,根据传入的minSize参数大小,Attribute和FileUpload可以被分成下面几种:

MemoryAttribute, DiskAttribute or MixedAttribute
MemoryFileUpload, DiskFileUpload or MixedFileUpload

在这一节我们先看一下在POST请求中并不上传文件的处理方式,首先创建HTTP request和PostBody encoder:

// 构建HTTP request
        HttpRequest request = new DefaultHttpRequest(HttpVersion.HTTP_1_1, HttpMethod.POST, uriSimple.toASCIIString());

 HttpPostRequestEncoder bodyRequestEncoder =
                new HttpPostRequestEncoder(factory, request, false);  

向request中添加headers:

// 添加headers
        for (Entry<String, String> entry : headers) {
            request.headers().set(entry.getKey(), entry.getValue());
        }

然后再向bodyRequestEncoder中添加form属性:

// 添加form属性
        bodyRequestEncoder.addBodyAttribute("method", "POST");
        bodyRequestEncoder.addBodyAttribute("name", "flydean");
        bodyRequestEncoder.addBodyAttribute("site", "www.flydean.com");
        bodyRequestEncoder.addBodyFileUpload("myfile", file, "application/x-zip-compressed", false);

注意,上面我们向bodyRequestEncoder中添加了method,name和site这几个属性。然后添加了一个FileUpload。但是因为我们的编码方式并不是”multipart/form-data”,所以这里传递的只是文件名,并不是整个文件。

最后,我们要调用bodyRequestEncoder的finalizeRequest方法,返回最终要发送的request。在finalizeRequest的过程中,还会根据传输数据的大小来设置transfer-encoding是否为chunked。

如果传输的内容比较大,则需要分段进行传输,这时候需要设置transfer-encoding = chunked,否则不进行设置。

最后发送请求:

// 发送请求
        channel.write(request);

在server端,我们同样需要构造一个HttpDataFactory,然后使用这个factory来构造一个HttpPostRequestDecoder,来对encoder出来的数据进行decode:

HttpDataFactory factory =
            new DefaultHttpDataFactory(DefaultHttpDataFactory.MINSIZE);
//POST请求
decoder = new HttpPostRequestDecoder(factory, request);

因为server端收到的消息根据发送消息的长度可以能是HttpContent,也可能是LastHttpContent。如果是HttpContent,我们将解析的结果放到一个StringBuilder中缓存起来,等接收到LastHttpContent再一起发送出去即可。

在收到HttpContent之后,我们调用decoder.offer方法,对HttpContent进行解码:

decoder.offer(chunk);

在decoder内部有两个存储HttpData数据的容器,分别是:

List<InterfaceHttpData> bodyListHttpData
和
Map<String, List<InterfaceHttpData>> bodyMapHttpData

decoder.offer就是对chunk进行解析,然后将解析过后的数据填充到bodyListHttpData和bodyMapHttpData中。

解析过后,就可以对解析过后的数据进行读取了。

可以通过decoder的hasNext和next方法对bodyListHttpData进行遍历,从而获取到对应的InterfaceHttpData。

通过data.getHttpDataType()可以拿到InterfaceHttpData的数据类型,上面也讲过了有Attribute和FileUpload两种类型。

POST方法上传文件

如果要POST文件,客户端在创建HttpPostRequestEncoder的时候传入multipart=true即可:

 HttpPostRequestEncoder bodyRequestEncoder =
                new HttpPostRequestEncoder(factory, request, true);

然后分别调用setBodyHttpDatas和finalizeRequest方法,生成HttpRequest就可以向channel写入了:

// 添加body http data
        bodyRequestEncoder.setBodyHttpDatas(bodylist);
        // finalize request,判断是否需要chunk
        request = bodyRequestEncoder.finalizeRequest();
        // 发送请求头
        channel.write(request);

要注意,如果是transfer-encoding = chunked,那么这个HttpRequest只是请求头的信息,我们还需要手动将HttpContent写入到channel中:

        // 判断bodyRequestEncoder是否是Chunked,发送请求内容
        if (bodyRequestEncoder.isChunked()) {
            channel.write(bodyRequestEncoder);
        }

在server端,通过判断InterfaceHttpData的getHttpDataType,如果是FileUpload类型,则说明拿到了上传的文件,则可以通过下面的方法来读取到文件的内容:

FileUpload fileUpload = (FileUpload) data;
responseContent.append(fileUpload.getString(fileUpload.getCharset()));

这样我们就可以在服务器端拿到客户端传过来的文件了。

总结

HTTP的文件上传需要考虑的问题比较多,大家有不明白的可以参考我的例子。或者留言给我一起讨论。

本文的例子可以参考:learn-netty4

本文已收录于 http://www.flydean.com/21-netty-http-fileupload/

最通俗的解读,最深刻的干货,最简洁的教程,众多你不知道的小技巧等你来发现!

欢迎关注我的公众号:「程序那些事」,懂技术,更懂你!

相关推荐

Go语言标准库中5个被低估的强大package

在Go语言的世界里,开发者们往往对fmt、net/http这些“明星包”耳熟能详,却忽略了标准库里藏着的一批“宝藏工具”。它们功能强大却低调内敛,能解决并发控制、内存优化、日志管理等核心问题。今天就带...

作为测试人,如何优雅地查看Log日志?

作为一名测试工程师,测试工作中和Linux打交道的地方有很多。比如查看日志、定位Bug、修改文件、部署环境等。项目部署在Linux上,如果某个功能发生错误,就需要我们去排查出错的原因,所以熟练地掌握查...

Java 从底层与接口实现了解String、StringBuffer、StringBuilder

String、StringBuffer和StringBuilder的接口实现关系:String:字符串常量,字符串长度不可变。Java中String是immutable(不可变)的。用于存放字符...

FluentData 从入门到精通:C#.NET 数据访问最佳实践

简介FluentData是一个微型ORM(micro-ORM),主打「FluentAPI」风格,让开发者在保持对原生SQL完全控制的同时,享受链式调用的便捷性。它与Dapper、Massi...

团队协作-代码格式化工具clang-format

环境:clang-format:10.0.0前言统一的代码规范对于整个团队来说十分重要,通过git/svn在提交前进行统一的ClangFormat格式化,可以有效避免由于人工操作带来的代码格式问题。C...

C# 数据操作系列 - 15 SqlSugar 增删改查详解(超长篇)

0.前言继上一篇,以及上上篇,我们对SqlSugar有了一个大概的认识,但是这并不完美,因为那些都是理论知识,无法描述我们工程开发中实际情况。而这一篇,将带领小伙伴们一起试着写一个能在工程中使用的模...

Mac OS 下 Unix 使用最多的100条命令(收藏级)

MacOS内置基于Unix的强大终端(Terminal),对开发者、运维工程师和日常用户来说,掌握常用的Unix命令是提升效率的关键。本文整理了100条在MacOS下最常用的U...

C语言字符串操作总结大全(超详细)

C语言字符串操作总结大全(超详细)1)字符串操作strcpy(p,p1)复制字符串strncpy(p,p1,n)复制指定长度字符串strcat(p,p1)附加字符串strncat...

经常使用到开源的MySQL,今天我们就来系统地认识一下

作为程序员,我们在项目中会使用到许多种类的数据库,根据业务类型、并发量和数据要求等选择不同类型的数据库,比如MySQL、Oracle、SQLServer、SQLite、MongoDB和Redis等。今...

电脑蓝屏代码大全_电脑蓝屏代码大全及解决方案

0X0000000操作完成0X0000001不正确的函数0X0000002系统找不到指定的文件0X0000003系统找不到指定的路径0X0000004系统无法打开文件0X0000005拒绝...

8个增强PHP程序安全的函数_php性能优化及安全策略

安全是编程非常重要的一个方面。在任何一种编程语言中,都提供了许多的函数或者模块来确保程序的安全性。在现代网站应用中,经常要获取来自世界各地用户的输入,但是,我们都知道“永远不能相信那些用户输入的数据”...

css优化都有哪些优化方案_css性能优化技巧

CSS优化其实可以分成几个层面:性能优化、可维护性优化、兼容性优化以及用户体验优化。这里我帮你梳理一份比较系统的CSS优化方案清单,方便你参考:一、加载性能优化减少CSS文件体积压缩CSS...

筹划20年,他终于拍成了这部电影_筹划20年,他终于拍成了这部电影英语

如果提名好莱坞最难搞影星,你第一时间会联想到谁?是坏脾气的西恩·潘,还是曾因吸毒锒铛入狱的小罗伯特·唐尼,亦或是沉迷酒精影响工作的罗素·克劳?上述大咖,往往都有着这样或那样的瑕疵。可即便如此,却都仍旧...

Keycloak Servlet Filter Adapter使用

KeycloakClientAdapters简介Keycloakclientadaptersarelibrariesthatmakeitveryeasytosecurea...

一些常用的linux常用的命令_linux常用命令有哪些?

在Linux的世界里,命令是与系统交互的基础。掌握常用命令不仅能让你高效地管理文件、进程和网络,还能为你进一步学习系统管理和自动化打下坚实的基础。本文将深入探讨一些最常用且功能强大的Linux...