首页 笔记 图片 查字 
所属分类:Kafka
浏览:60
内容:

四大组件:
生产者:生成消息数据发送到kafka集群的指定topic。
消费者:从kafka集群的topic中订阅消息并消费。

kafka集群,相关术语:
broker:kafka集群服务器,kafka集群由多个服务器组成,每个服务器节点称为一个broker。
topic:消息主题,发布到Kafka集群的消息的类别。
partition:消息主题分区,每个topic被物理划分为一个或多个分区,每个分区在物理磁盘上对应一个文件夹,该文件夹里面存储了这个分区的所有消息和索引文件。
offset:分区中的每条消息都被标记了一个序号,表示消息在分区中的偏移量。
producer:生产者,
consumer:消费者,
consumer group:消费者组,每个消费者属于一个特定的消费者组,不指定的话属于默认分组。【同一主题的一条消息只能被同一消费者组内的一个消费者消费,但多个消费者组可同时消费这一消息。】
leader:领导者,消息主题的分区的领导者,每个分区会有多个副本,只有一个作为领导者,它会负责所有的客户端读写操作。
follower:跟随者,跟随者不对外提供服务,只与领导者保持数据同步,如果领导者失效,则选举一个跟随者来充当新的领导者。
rebalance:重平衡,消费者组内一个消费者挂掉后,其他消费者自动重新分配订阅主题分区的过程,是消费者端实现高可用的重要手段。

zookeeper集群:存储kafka集群的meta信息。比如:broker的id集合,每个分区的leader地址,以及ISR集合。