关于go语言发起http请求的信息

【golang】context上下文与http请求妙用

1.在后端服务开发中，如过一个HTTP请求，请求一致占用，将会带来大的性能影响，所以需要为每个请求加上超时设置

创新互联建站秉承实现全网价值营销的理念，以专业定制企业官网，网站设计、成都网站制作，重庆小程序开发公司，网页设计制作，移动网站建设，营销型网站建设帮助传统企业实现“互联网+”转型升级专业定制企业官网,公司注重人才、技术和管理，汇聚了一批优秀的互联网技术人才,对客户都以感恩的心态奉献自己的专业和所长。

2.在go语言中利用 context 进行上下文控制，要想达到精确时间控制，如下：

3.同时我们也可以利用context的context.WithDeadline(）函数来进行超时控制

golang中http请求体多次读取的坑

报错信息如下：

[logid: 3628171316][json.err: EOF] [exception:EOF] goroutine 20521 [running]:

原因：

在请求体为json的请求中，调用了parsePostForm方法，方法大致内容如下：

在这个方法中，会读取http的请求体。

在这里被读取的时候，后面又重新读取一次，之后解json

后面读到的请求体是空的，解json的时候就会报错EOF

总结：golang中http请求报错eof，多半是因为多次读取了请求体

go语言实现一个简单的简单网关

网关=反向代理+负载均衡+各种策略，技术实现也有多种多样，有基于 nginx 使用 lua 的实现，比如 openresty、kong；也有基于 zuul 的通用网关；还有就是 golang 的网关，比如 tyk。

这篇文章主要是讲如何基于 golang 实现一个简单的网关。

转自： troy.wang/docs/golang/posts/golang-gateway/

整理：go语言钟文文档:

启动两个后端 web 服务（代码）

这里使用命令行工具进行测试

具体代码

直接使用基础库 httputil 提供的NewSingleHostReverseProxy即可，返回的reverseProxy对象实现了serveHttp方法，因此可以直接作为 handler。

具体代码

director中定义回调函数，入参为*http.Request，决定如何构造向后端的请求，比如 host 是否向后传递，是否进行 url 重写，对于 header 的处理，后端 target 的选择等，都可以在这里完成。

director在这里具体做了：

modifyResponse中定义回调函数，入参为*http.Response，用于修改响应的信息，比如响应的 Body，响应的 Header 等信息。

最终依旧是返回一个ReverseProxy，然后将这个对象作为 handler 传入即可。

参考 2.2 中的NewSingleHostReverseProxy，只需要实现一个类似的、支持多 targets 的方法即可，具体实现见后面。

作为一个网关服务，在上面 2.3 的基础上，需要支持必要的负载均衡策略，比如：

随便 random 一个整数作为索引，然后取对应的地址即可，实现比较简单。

具体代码

使用curIndex进行累加计数，一旦超过 rss 数组的长度，则重置。

具体代码

轮询带权重，如果使用计数递减的方式，如果权重是5,1,1那么后端 rs 依次为a,a,a,a,a,b,c,a,a,a,a…，其中 a 后端会瞬间压力过大；参考 nginx 内部的加权轮询，或者应该称之为平滑加权轮询，思路是：

后端真实节点包含三个权重：

操作步骤：

具体代码

一致性 hash 算法，主要是用于分布式 cache 热点/命中问题；这里用于基于某 key 的 hash 值，路由到固定后端，但是只能是基本满足流量绑定，一旦后端目标节点故障，会自动平移到环上最近的那么个节点。

实现：

具体代码

每一种不同的负载均衡算法，只需要实现添加以及获取的接口即可。

然后使用工厂方法，根据传入的参数，决定使用哪种负载均衡策略。

具体代码

作为网关，中间件必不可少，这类包括请求响应的模式，一般称作洋葱模式，每一层都是中间件，一层层进去，然后一层层出来。

中间件的实现一般有两种，一种是使用数组，然后配合 index 计数；一种是链式调用。

具体代码

Go语言HTTPServer开发的六种实现

学完了 net/http 和 fasthttp 两个HTTP协议接口的客户端实现，接下来就要开始Server的开发，不学不知道一学吓一跳，居然这两个库还支持Server的开发，太方便了。

相比于Java的HTTPServer开发基本上都是使用Spring或者Springboot框架，总是要配置各种配置类，各种 handle 对象。Golang的Server开发显得非常简单，就是因为特别简单，或者说没有形成特别统一的规范或者框架，我发现了很多实现方式，HTTP协议基于还是 net/http 和 fasthttp ，但是 handle 语法就多种多样了。

先复习一下： Golang语言HTTP客户端实践 、 Golang fasthttp实践 。

在Golang语言方面，实现某个功能的库可能会比较多，有机会还是要多跟同行交流，指不定就发现了更好用的库。下面我分享我学到的六种Server开发的实现Demo。

基于 net/http 实现，这是一种比较基础的，对于接口和 handle 映射关系处理并不优雅，不推荐使用。

第二种也是基于 net/http ，这种编写语法可以很好地解决第一种的问题，handle和path有了类似配置的语法，可读性提高了很多。

第三个基于 net/http 和 github.com/labstack/echo ，后者主要提供了 Echo 对象用来处理各类配置包括接口和handle映射，功能很丰富，可读性最佳。

第四种依然基于 net/http 实现，引入了 github.com/gin-gonic/gin 的路由，看起来接口和 handle 映射关系比较明晰了。

第五种基于 fasthttp 开发，使用都是 fasthttp 提供的API，可读性尚可，handle配置倒是更像Java了。

第六种依然基于 fasthttp ，用到了 github.com/buaazp/fasthttprouter ，有点奇怪两个居然不在一个GitHub仓库里。使用语法跟第三种方式有点类似，比较有条理，有利于阅读。

golang net/http包 http请求的字节码读取与解析。

先配置Header最长读取时间、req最长读取时间、req最大读取长度默认6M。

RFC7230禁止\r\n参数，Url中只允许包含英文字母（a-zA-Z）、数字（0-9）、-_.~4个特殊字符以及所有保留字符。但go net/http包放宽了这个要求。

先构建newTextprotoReader，由于缓冲区是对象复用的，用完后要defer put。共完以以下解析任务：

TextprotoReader数据结构，将字节码Reader转成文本Reader。

第一步，从第一行解析出method uri prototype。

第二步解析URL。url.URL数据结构：

解析Scheme，协议前缀（小写）。有查询参数?，则配置url.ForceQuery url.RawQuery。有认证信息///...//，则解析url.User url.Host。最后配置url.Path和url.RawPath，如果Path==RawPath，则RawPath=""。

第三步解析MIMEHeader。

第四步readTransfer。重新配置如下参数：RequestMethod ProtoMajor ProtoMinor Header Trailer ContentLength Close。对于Body，如果encodings支持chunked，读取流用chunkedReader包裹。默认情况用LimitedReader，无body赋空的struct{}。

以下情况返回非空err，示得到正确的请求：

最后配置req.ctx req.RemoteAddr req.TLS body.doEarlyClose = true。

构建Response:

其中closeNotifyCh必须在构建时初始化，没有content所以先置contentLength为-1。

配置w.cw并被w.w包裹。w.cw缓冲默认大小2M。

获取Request可能出现如下错误：

先上响应数据结构：

response字段可以分类为：大对象、缓冲、KV对或bool型的状态参数。

大对象有：

状态字段：

chunkWriter数据结构：

chunkWriter包裹了Response，功能之一是完成Header设置，包括Content-Type Content-Length chunk-header。bufio.Writer是chunkWriter是缓冲包裹。

handler将响应写入到response.w。

调用w.w.Flush()将w写入到cw，注意到Flush()操作，如果未刷空缓存并报错，触发拷贝操作。报错不会退回已写出的数据。

进而调用cw.Write()，根据cw.chunking参数。

putBufioWriter(w.w)清空resp.w缓冲，如果池化放回sync.pool。

根据chunkWriter的定义，w.cw.close()负责cw的结束工作：写入换行符和resp.trailers数据。

最后刷新TCP缓冲w.conn.bufw.Flush()，完成响应包发送。并正确关闭request。