首页 笔记 图片 查字 
所属分类:Kafka
浏览:96
内容:

文件清除策略:
超时配置4个选项:
log.retention.hours=7天(默认)
log.retention.minutes=  分钟,如果这个minutes设置了,hours配置就失效,
log.retention.ms=  毫秒, 如果这个ms设置了,minutes配置就失效,
log.retention.check.interval.ms=  5分钟(默认) 检查数据超时的时间间隔
删除策略:
1、delete日志删除:将过期数据删除,
log.cleanup.policy=delete  所有数据启用删除策略
基于时间判断:默认打开,以segment中所有记录的最大时间戳作为改文件的判断时间戳。
基于大小判断:默认关闭,超过设置的所有日志总大小,删除最早的segment。
2、compact日志压缩。压缩用的少。
对于相同的key不同的value值,只保留最后一个版本。
只适合特殊场景,比如key是用户id,value是用户基本信息年龄。