Kafka的消息记录留存策略及配置是怎样的-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

Kafka的消息记录留存策略及配置是怎样的

本篇文章为大家展示了Kafka的消息记录留存策略及配置是怎样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

创新互联-专业网站定制、快速模板网站建设、高性价比洪湖网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式洪湖网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖洪湖地区。费用合理售后完善,十载实体公司更值得信赖。

broker中的几个重要配置项

  • log.retention.check.interval.ms

  • log.retention.hours

  • log.segment.bytes

  • log.roll.hours

消息记录留存执行基本逻辑

  • kafka的消息存放在segment文件中

  • kafka处理过期数据的操作对象是segment,处理方式为压缩或删除,或压缩与删除联合

  1. 写入数据

  • 1.1 当前partition收到producer第一条要记录的消息, 如果没有segment,则kafka会新建segment

  • 1.2 检查要写入的segment最后一条插入数据的时间戳: 如果大小大于log.segment.bytes配置的大小,则不再写入,并创建新的segment,并将写入游标指向新建的segment

  • 1.3 检查要写入的segment文件的大小: 如果segment的创建时间距当前时间大于log.roll.hours配置的时间,则不再写入,并创建新的segment,并将写入游标指向新建的segment

  • 1.4 写入数据到segment文件

  1. 定时检查并处理过期segment文件

  • 2.1 kafka根据log.retention.check.interval.ms配置项发起定时任务: 定时检查所有的segment

  • 2.2 检查segment是否符合执行过期处理的条件,如果segment最近时间戳距现在时间大于log.retention.hours配置时间,则会删除该segment文件

上述内容就是Kafka的消息记录留存策略及配置是怎样的,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。


分享名称:Kafka的消息记录留存策略及配置是怎样的
网址分享:http://kswsj.cn/article/johsdd.html

其他资讯