这篇文章主要介绍“怎么使用MongoDB分析Nginx日志”，在日常操作中，相信很多人在怎么使用MongoDB分析Nginx日志问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么使用MongoDB分析Nginx日志”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
创新互联建站专注于竞秀网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供竞秀营销型网站建设，竞秀网站制作、竞秀网页设计、竞秀网站官网定制、成都小程序开发服务，打造竞秀网络公司原创品牌,更为您提供竞秀网站排名全网营销落地服务。
日志解析流程
正常情况下,关于nginx日志解析的流程如下所示:
一般情况下我们会对要解析的日志提前进行切分,常用的方式是按照日期,然后保存1个星期的日志。然后接下来就是日志的解析了,在这个过程中会使用到一些工具或编程语言,例如awk、grep、perl、python。
最后的入库和可视化处理一般视业务而定,没有强制的要求。
日志查询的解决方案
而关于nginx日志解析的常用解决方案主要有如下4种方式:
通过awk和grep进行解析
通过postgresql外联表进行日志的映射
通过python与mongodb的组合来进行日志查询
通过elk这个开源套件进行查询
其中postgresql外联表的方式在之前公司的时候已经使用过,当然是对公司多个3gb大小的日志进行处理。而第1种和第4种解决方案没有太多的实践的经验,这里我们主要来看第2种解决方案。
日志格式
关于日志解析处理,我们比较常用的方式是使用正则表达式来进行匹配,而常用的1个库是nginxparser,我们可以直接通过pip进行安装。当然还有其他的方式来进行解析,这个要视业务而定。
在日志解析中,比较重要的是日志的格式,默认情况下nginx的日志格式如下:
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"' '$upstream_addr $upstream_response_time $request_time;
下面我们来看实际业务中的1个应用。之前公司有1个抢微信红包的活动,当然有用户反映好几天都无法抢到1个红包。因此,我们团队成员认为可能在这个过程中存在作弊的现象,因此便决定对nginx的日志进行解析。
下面是1条真实的日志的记录:
101.226.89.14 - - [10/jul/2016:07:28:32 +0800] "get /pocketmoney-2016-xikxcpck.html http/1.1" 302 231 "-" "mozilla/5.0 (linux; android 5.1; oppo r9tm build/lmy47i) applewebkit/537.36 (khtml, like gecko) version/4.0 chrome/37.0.0.0 mobile mqqbrowser/6.2 tbs/036548 safari/537.36 micromessenger/6.3.22.821 nettype/wifi language/zh_cn"
日志分析
通过awk进行解析
接着,我们来看下如何使用awk解析出ip访问最多的记录,关于awk语法可以参考进行学习:
dog@dog-pc:~$ awk '{a[$1]++}end{for(i in a)print i,a[i]}' nginx.log |sort -t ' ' -k2 -rn|head -n 10
111.167.50.208 26794
183.28.6.143 16244
118.76.216.77 9560
14.148.114.213 3609
183.50.96.127 3377
220.115.235.21 3246
222.84.160.249 2905
121.42.0.16 2212
14.208.240.200 2000
14.17.37.143 1993默认情况下,awk以空格作为分隔符号,因此$1将获取到nginx默认格式中的远程地址。在这里,我们通过定义1个字段,使用ip作为键名,如果对应的键名存在则将其数量加1处理。最后我们遍历这个字典,之后通过数量进行排序,最后通过head获取10条记录。
当然这种操作方式是有较大误差的,因为我们没有指定状态码等其他条件,下面我们来看根据状态码和请求方式这2个条件后过滤的数据:
dog@dog-pc:~$ awk '{if($9>0 && $9==200 && substr($6,2)== "get") a[$1]++}end{for(i in a)print i,a[i]}' nginx.log|sort -t ' ' -k2 -rn|head -n 10
222.84.160.249 2856
183.28.6.143 2534
116.1.127.110 1625
14.208.240.200 1521
14.17.37.143 1335
219.133.40.13 1014
219.133.40.15 994
14.17.37.144 988
14.17.37.161 960
183.61.51.195 944这样我们就可以将这10个ip进行分析,考虑下一步的操作,比如通过iptables组合禁止该ip的访问或限制其访问的次数等。
通过postgresql
通过postgresql入库后使用sql进行查询的方式可以通过如下2种图片来查看:
在上图中主要是查看日志中请求状态码的总数量。而下图是对状态码为200的前10条ip的筛选:
可以看到基本上与上面awk解析的方式一致。
通过mongodb进行查询
我们知道,mongodb是1个文档型数据库,通过这个数据库我们辅助解决关系型数据库一些不太擅长的工作。
在python中,主要的mongodb客户端驱动是pymongo,我们可以通过如下的方式建立1个连接:
in [1]: from pymongo import mongoclient in [2]: client = mongoclient()
由于这里我们使用的是默认的端口和地址,因此在mongoclient类中不传入任何的参数。
在这里,我们先说下我们插入到mongodb中日志的格式:
{
"status": 302, //http状态码
"addr": "101.226.89.14", //远程ip地址
"url": "-",
"req": "/pocketmoney-2016-xicxcpck.html", //请求的地址
"agent": "mozilla/5.0 (linux; android 5.1; oppo r9tm build/lmy47i) applewebkit/537.36 (khtml, like gecko) version/4.0 chrome/37.0.0.0 mobile mqqbrowser/6.2 tbs/036548 safari/537.36 micromessenger/6.3.22.821 nettype/wifi language/zh_cn", //请求的user-agent
"referer": "nettype/wifi",
"t": "2016/07/10 06:28:32", //请求的时间
"size": 231, //响应的大小
"method": "get", //请求的方法
"user": "-" //用户名称
}在这里我们通过python进行解析后,组装成如上的格式后插入到mongodb中,在这里主要用到的是mongodb文档对象的insert_one方法插入1条记录。
db = client['log']
col = db['nginx']
data = {}
...
col.insert_one(data)接着我们开始对上述的记录进行查询操作,主要是通过mongodb提供的map-reduce来实现聚合操作,其对应的python代码为:
in [3]: db = client['log']
in [4]: col = db['nginx']
in [5]: pipeline = [
...: {"$match":{"status":200}},
...: {"$group":{"_id":"$addr","count":{"$sum":1}}},
...: {"$sort":{"count":-1}},
...: {"$limit":10}
...: ]
in [6]: list(col.aggregate(pipeline))
out[6]:
[{u'_id': u'222.84.160.249', u'count': 2856},
{u'_id': u'183.28.6.143', u'count': 2534},
{u'_id': u'116.1.127.110', u'count': 1625},
{u'_id': u'14.208.240.200', u'count': 1521},
{u'_id': u'14.17.37.143', u'count': 1335},
{u'_id': u'219.133.40.13', u'count': 1014},
{u'_id': u'219.133.40.15', u'count': 994},
{u'_id': u'14.17.37.144', u'count': 988},
{u'_id': u'14.17.37.161', u'count': 960},
{u'_id': u'183.61.51.195', u'count': 944}]可以看到这个过程与之前的2种方式得到的结果是一致的。
关于可视化处理
关于可视化处理,我们可以选择一些javascript的库,例如:
百度的echarts
d3.js及其衍生的库
对于python,可视化处理可以使用如下的一些库:
matplotlib
pandas
当然还有一些其他的库这里就不一一叙述了。
下面是1个使用百度echart绘制的界面:
到此，关于“怎么使用MongoDB分析Nginx日志”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！
