>>与软件开发有关的知识:操作系统,数据库,网络通信等 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 25227 个阅读者 刷新本主题
 * 贴子主题:  服务器排障 之 nginx 499 错误的解决 回复文章 点赞(0)  收藏  
作者:flybird    发表时间:2020-03-11 23:03:44     消息  查看  搜索  好友  邮件  复制  引用

     问题描述:

  Nginx  服务器大量 499 报错

220.181.165.136 - - [18/May/2015:10:31:02 +0800] "POST /v1/jobsHTTP/1.1" 499 0 "" "bdHttpRequest/1.0.0"

115.239.212.7 - - [18/May/2015:10:31:03 +0800] "GET /v1/job/643309e3-dc73-4025-aa69-c9405c1d818fHTTP/1.1" 499 0"http://www.baidu.com/?tn=91638679_hao_pg&s_j=1""Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"

140.207.202.187 - - [18/May/2015:10:30:58 +0800] "POST/v3/violations HTTP/1.1" 499 0 "-" "-"

42.236.10.71 - - [18/May/2015:10:30:59 +0800] "POST /v3/violationsHTTP/1.1" 499 0 "-" "-"

106.120.173.17 - - [18/May/2015:10:30:58 +0800] "POST/v3/violations HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Windows NT6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131Safari/537.36"

180.97.35.164 - - [18/May/2015:10:30:52 +0800] "GET/v1/job/f86bdecc-2a61-4a42-bb7b-aa794b77f89b HTTP/1.1" 499 0"http://www.baidu.com/s?word=%E5%8D%81%E5%A0%B0%E5%A4%A9%E6%B0%94&tn=sitehao123&ie=utf-8""Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"
    问题分析:

  1  499 出现的原因

  google  定义:

  499 / ClientClosed Request

      An Nginx HTTP server extension. This codeis introduced to log the case when the connection is closed by client whileHTTP server is processing its request, making server unable to send the HTTP header back

  维基百科定义:

  499Client Closed Request (Nginx)

  Used in Nginx logs to indicate when the connection has been closed by client while the server is still processing itsrequest, making server unable to send a status code back

  Nginx  源码:

grep一下nginx源码,定义在ngx_request_t.h :

/*
* HTTP does notdefine the code for the case when a client closed
* the connectionwhile we are processing its request so we introduce
* own code to logsuch situation when a client has closed the connection
* before we even tryto send the HTTP header to it
*/
#define NGX_HTTP_CLIENT_CLOSED_REQUEST 499
这是nginx定义的一个状态码,用于表示这样的错误: 服务器返回http头之前,客户端就提前关闭了http连接

  继续 grep :

[url=s3.51cto.com/wyfs02/M00/76/20/wKioL1ZK_oWDZn9NAAC_HrhuQAs422.png]点击在新窗口中浏览原图
CTRL+鼠标滚轮放大或缩小[/url]

               这 很有可能是因为服务器端处理的时间过长,客户端 “ 不耐烦 ” 了 。

  要解决此问题,就需要在程序上面做些优化了。

            再grep下“NGX_HTTP_CLIENT_CLOSED_REQUEST”,发现目前这个状态值只在 ngx_upstream中赋值

              upstream在以下几种情况下会返回499:

(1)upstream 在收到读写事件处理之前时,会检查连接是否可用:
ngx_http_upstream_check_broken_connection,
    if (c->error) { //connecttion错误
     ……
        if (!u->cacheable) { //upstream的cacheable为false,这个值跟http_cache模块的设置有关。指示内容是否缓存。
            ngx_http_upstream_finalize_request(r, u, NGX_HTTP_CLIENT_CLOSED_REQUEST);
        }
}
如上代码,当连接错误时会返回499。

(2)server处理请求未结束,而client提前关闭了连接,此时也会返回499。

(3)在一个upstream出错,执行next_upstream时也会判断连接是否可用,不可用则返回499。

总之,这个错误的比例升高 可能 表明服务器upstream处理过慢,导致用户提前关闭连接。而正常情况下有一个小比例是正常的。

    继续分析:

  问题的核心就是要排查为什么服务端处理时间过长

   可能问题  :

   1        后台python程序处理请求时间过长

  2        mysql 慢查询

通过查看监控:

1  cpu和内存的使用,都在正常范围

2  后台程序访问正常

3  MySQL没有慢查询

                结果:

  经过询问老大后得知,这个 nginx 为查询违章的 api ,用户提交查询后,  python 就去数据库或者交通局的网站查询。这个查询会有消耗一定的时间,所以,用户会主动断开连接

    解决问题:

  proxy_ignore_client_abort  on;     #  让代理服务端不要主动关闭客户端的连接。

  

  默认  proxy_ignore_client_abort  是关闭的,此时在请求过程中如果客户端端主动关闭请求或者客户端网络断掉,那么  Nginx  会记录  499 ,同时  request_time  是 「后端已经处理」的时间,而 upstream_response_time  为 “ - “  ( 已验证 ) 。

             如果使用了  proxy_ignore_client_abort on ;

  那么客户端主动断掉连接之后, Nginx  会等待后端处理完 ( 或者超时 ) ,然后 记录 「后端的返回信息」 到日志。所以,如果后端 返回  200 , 就记录  200  ;如果后端放回  5XX  ,那么就记录  5XX  。

  如果超时 ( 默认 60s ,可以用  proxy_read_timeout  设置 ) , Nginx  会主动断开连接,记录  504

  注:  只在做  反向代理的时候加入,作为其他服务器的时候,关闭为好,默认设置是  关闭的!

            

----------------------------
原文链接:https://blog.51cto.com/yucanghai/1713803

程序猿的技术大观园:www.javathinker.net



[这个贴子最后由 flybird 在 2020-03-13 11:01:06 重新编辑]
  Java面向对象编程-->集合(上)
  JavaWeb开发-->访问数据库(Ⅱ)
  JSP与Hibernate开发-->数据库事务的概念和声明
  Java网络编程-->用Axis发布Web服务
  精通Spring-->虚拟DOM和render()函数
  Vue3开发-->通过Axios访问服务器
  TCP的三次握手建立链接和四次挥手释放链接
  针对 MySQL IO 特点进行的存储优化揭秘
  实战:上亿数据如何秒查
  如何成为写SQL高手
  我必须得告诉大家的MySQL优化原理
  从原理到实战:如何通过布隆过滤器防止缓存击穿
  PostgreSQL pg_rewind实例--could not find previous WA
  SQL统计数据:COUNT() 函数
  比较XML的子元素和属性
  Service Mesh 落地负责人亲述:蚂蚁金服双十一四大考题
  从十年运维看“云”维趋势
  MySQL5.7慢查询日志时间与系统时间差8小时原因
  MySQL的启动选项和系统变量该如何配置?
  电脑启动不起来,提示Reboot and select proper boot device ...
  Mysql支持的数据类型(总结)
  更多...
 IPIP: 已设置保密
楼主      
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。