Kafka经典面试题

1、kafka消息发送的流程？

producer发送过程中启动两个线程 一个main线程 一个sender线程，在main线程中先创建一个双端队列（RecordAccumlator、producerbatch），main将我们需要发送的东西经过拦截器，序列化，分区器，发送到双端队列中(双端队列中的内存默认为32m 可以在配置中修改），sender线程不断的从双端队列中拉取消息，等待达到batch.size的值后（默认16k），发送消息到kafka集群，如果一直达不到batch.size的值，就等待达到linger.ms值的时间后发送数据，返回一个InflightRequests请求（可通过配置文件修改1-5），意思就是发送5条消息，kafka集群收到消息后，会进行acks应答，如果kafka集群中的消息同步成功，返回成功的应答信息，sender中清理掉成功发送的消息，如果发送失败sender就会重试（retries）重新发送

2、Kafka 的设计架构你知道吗？

Kafka 将消息以 topic 为单位进行归纳(存储在了zk中，可选择)，发布消息的程序称为 Producer，消费消息的程序称为 Consumer。它是以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 Broker，Producer 通过网络将消息推送到 kafka 集群，消费者从集群中拉取数据，broker 在中间起到一个代理保存消息的中转站，broker中还有可以通过分区提高数据的并行度等，broker还有着leader以及follower的高可用机制，即使有服务器挂掉，其他的依旧可以顶上保证kafka的正常运行

3、Kafka 分区的目的？

1）提高并行度： 以分区为单位进行消息的发送与消费

2）有利于更加合理的储存资源： 当数据在broker中存储的的时候，分区可以将大量的数据切成一块一块的，存储资源更加合理。而且合理的控制分区的数量，还可以实现负载均衡的效果

4、你知道 Kafka 是如何做到消息的有序性？

生产者发送的数据，单分区内可以做到有序，多分区，无法保证，除非把多个分区的数据拉到消费者端，进行排序，但这样做需要等，效率很低，还不如直接设置一个分区。

5、ISR、OSR、AR 是什么？

isr：isr中只显示活着的follower与leader的broker id

osr：表示 Follower 与 Leader 副本同步时，连接不到的副本id

AR：kafka分区中所有副本的id都会在AR中显示

AR = isr + osr

6、Kafka 在什么情况下会出现消息丢失

1）acks的级别设置为 0 的时候，此时producer发送消息后，不需要等待应答就结束了，很容易造成数据丢失

2）acks的级别设置为 1 的时候，此时producer发送消息后，Leader收到消息后应答（不等待follower同步数据），应答完成后，producer就认为消息发送成功，这时follower中并没有同步数据，一但此时leader挂了，通过选举机制产生的新leader中不会收到之前收到的消息，因为producer得到了应答，认为当时的消息已经发送成功了，此时数据就丢失了

3）acks的级别设置为 -1（all） 的时候，虽然此时等待producer发送消息后，leader和follower都同步消息后，才会应答给producer，数据就不容易丢失，可靠性高，但是效率较低 但是，当acks=-1的时候也会有些问题，当leader收到消息后，所有的follower都开始同步消息，但是如果此时某个follower出现问题，同步不到消息，也会造成数据丢失

7、怎么尽可能保证 Kafka 的可靠性

将acks的级别设置为-1 + 分区数大于等于2 + isr中可应答（活着的）副本数大于等于2,这样做只能保证数据不丢失，但是不确保数据不会重复，所以还需要引入幂等性和事务（保证数据唯一）这样，数据就一定可靠了，即保证数据不丢，又保证数据不重复

8、Kafka中如何做到数据唯一，即数据去重？

利用幂等性 + 事务 幂等性虽然能做到去重，但是只能保证单分区内数据不重复，且服务器不挂掉的情况下，所以我们还需要使用事务来保证数据的唯一 开启参数 enable.idempotence 默认为 true，false 关闭。 幂等性：生产者不论给broker中发送了多少条消息，broker中只会持久化一条

9、生产者如何提高吞吐量？

修改生产者重要参数的值

1、batch.size：批次大小，默认16k

2、linger.ms：等待时间，修改为5-100ms

3、compression.type：压缩snappy

4、 RecordAccumulator：缓冲区大小，修改为64m

10、zk在kafka集群中有何作用

kafka中的消息都是存储到了zk上的

Kafka 的各 Broker 在启动时都要在Zookeeper上注册，由Zookeeper统一协调管理。如果任何节点失败，可通过Zookeeper从先前提交的偏移量中恢复，因为它会做周期性提交偏移量工作。同一个Topic的消息会被分成多个分区并将其分布在多个Broker上，这些分区信息及与Broker的对应关系也是Zookeeper在维护。

在安装kafka的时候，修改了server.properties配置文件,在zk连接的位置写入了/kafka，加入没有写这个的话，kafka的消息就会存储到zk的根节点下

11、简述kafka集群中的Leader选举机制

当Leader挂了的时候，在isr中存活、AR中最靠前follower会通过选举机制成为新的Leader

12、kafka是如何处理数据乱序问题的。

通过幂等性，幂等性不但可以去重，还有排序的功能 幂等性：生产者不论给broker中发送了多少条消息，broker中只会持久化一条

13、kafka中节点如何服役和退役

前提：如果想要加入新的服役节点，需要在/etc/hosts中配置新的broker的节点ip以及hostname

服役：创建一个json文件，里面写入新topic的id以及version：1，通过kafka-reassign-partitions.sh命令执行json文件， --broker-list副本写入需要服役broker的id --generate执行，执行后会产生一堆的json内容，复制到新的json文件中，再通过kafka-reassign-partitions.sh --reassignment-json-file 后面写新的json文件名 --execute 执行此计划

退役：和服役一样，不同点就在于-broker-list副本写入需要服役broker的id不同

14、Kafka中Leader挂了，Follower挂了，然后再启动，数据如何同步？

当Leader挂了的时候，在isr中存活、AR中最靠前follower会通过选举机制成为新的Leader（即使此前的Leader重启了，它也不会变成leader），这时其他follower中log文件高于HW的部分截取掉，再从新的Leader中同步

当follower挂了的时候，挂掉的follower会被踢出isr，其他的leader和follower继续同步数据，重启后，此follower会从上一次挂掉的节点，直接切掉后面的数据，重新从之前挂掉的节点开始同步数据

15、kafka中初始化的时候Leader选举有一定的规律，如何打破这个规律呢？

初始化后，ar中的顺序和isr中的是一样的

当有节点（比如是1）挂掉的时候，isr这个中这个副本数就会消失，isr中存活且ar中排名靠前的副本，将会成为新的leader，再次启动原来的leader，此时这个leader就会变成follower，顺序错乱

初始化时：

0分区中：ar中是【0，1，2】 isr中也是【0，1，2】 leader：0

1分区中：ar中是【1，2，0】 isr中也是【1，2，0】 leader：1

2分区中：ar中是【2，0，1】 isr中也是【2，0，1】 leader：2

节点（1）挂掉后：

0分区中：ar中是【0，1，2】 isr中也是【0，2】 leader：0

1分区中：ar中是【1，2，0】 isr中也是【2，0】 leader：2

2分区中：ar中是【2，0，1】 isr中也是【2，0】 leader：2

节点（1）再次重启后，顺序错乱

0分区中：ar中是【0，1，2】 isr中也是【0，2，1】 leader：0

1分区中：ar中是【1，2，0】 isr中也是【2，0，1】 leader：2

2分区中：ar中是【2，0，1】 isr中也是【2，0，1】 leader：2