建站服务器

老东家监测Redis的慢查询日志，采用Crontab 每隔一段时间对慢查询日志采样,然后追加写入一个文本文件。

创新互联建站长期为上1000家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为滦南企业提供专业的成都网站设计、网站建设，滦南网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。

所以文本文件中有很多重复的慢查询日志

如何对整段重复的慢查询日志去重呢？

采用Shell 命令的方式最简单和直接。

awk'/^1\\)/{prints;s=""};{s=(s""$0)};END{prints}'b.txt|sort|uniq|sed's//\\n/g'|awk'/^1\\)\\(integer\\)/{rc=rc+1;rowdata=rc")\\t"$1""$2""$3"\\n\\t"$4""$5""$6""$7"\\n\\t"$8""$9""$10;printrowdata};/^/{print"\\t"$0}END{print"不重复日志总数:"rc}'

核心就是把整段的redis日志先合并为一行，去重之后，在还原格式。

下面是用于测试的附件

redisSlowLog.txt

附王工对这个问题的需求描述和说明。

https://blog.csdn.net/wzy0623/article/details/83652539?tdsourcetag=s_pcqq_aiomsg

本文题目：Shell解决RedisSlowLog去重问题
文章来源：http://kswsj.cn/article/cjdogd.html