分类: Kafka | GaryLee

文章分类
Dubbo 2 Http 1 Java 11 JVM 4 面试 3 Kafka 13 Maven 1 MongoDB 2 MySQL 16 RabbitMQ 2 Redis 19 并发 21 Vue 1 hexo 1 k8s 1 ElasticSearch 3 安全 1 代码库 1 PageHelper 1 代码优化 1 场景题 18 本地缓存 1 编程规范 1 设计模式 5 算法 22 目录 1 数据结构 1 分布式 6 定时任务 2 高水位 1 Mybatis 2 Spring 6 线上问题排查 3 Golang 3 Codex 3
                            
                            在Kafka中如何通过哪些配置来优化性能？
                        
                                一、Producer端
batch.size：批量发送消息大小（默认16kb）。Producer会将消息先缓存到本地，达到阈值后才发送（合理调大该配置可以减少网络IO，也不能太大，不然反而导致内存占用过高/网络时延高）
linger.ms：
                            
                                2026-01-18
                            
                                    Kafka
                                
                            Kafka的消息是怎么读写的？
                        
                                一、写操作1、Kafka存储模型=分区（Partition）+日志分段（Log Segment）在Kafka中每个Topic都被分成多个分区，每个分区都是一个有序、不可变的消息日志流（只追加不修改）同时为了避免单个日志文件过大导致IO效率低
                            
                                2026-01-17
                            
                                    Kafka
                                
                            Kafka如果选举Leader时ISR为空怎么办？
                        
                                一、背景：什么时候会发生Leader选举？当Controller检测到Leader不可用的时候，会重新选举新的Leader，其中Leader不可用的原因可能如下:

Leader节点宕机：检测Leader所在Broker进程异常，导致心跳超
                            
                                2026-01-17
                            
                                    Kafka
                                
                            Kafka中Partition和Consumer数量应该怎么分配？
                        
                                一、背景Kafka中各个概念关系如下：

一个Topic有多个Partition
一个Consumer Group有多个Consumer
一个Consumer可以监听多个Partition

二、Kafka中Partition和Consum
                            
                                2023-10-02
                            
                                    Kafka
                                
                            Kafka如何保证顺序消费？
                        
                                一、背景Kafka中一个topic有多个partition，在同一个partition中的消息是有序的。为什么呢？因为Kafka会将消息**追加写****到指定partition的日志文件中，所以消费消息的话也是按offset顺序消费的。

                                2023-09-14
                            
                                    Kafka
                                
                            Kafka如何保证数据不丢失？
                        
                                一、Kafka中数据是怎么传输的？Kafka中数据传输分为三步：

Producer端将消息发送给Broker
Broker端将消息进行同步并持久化
Consumer端从Broker将消息拉取并消费

二、Kafka如何保证数据不丢失？因为
                            
                                2023-09-14
                            
                                    Kafka
                                
                            Kafka如何避免重复消费？
                        
                                一、为什么会出现重复消费的问题？
一个消费者组有多个消费者，每条消息只会被某个消费者的某个分区消费，如果没有正常提交offset，就会导致后续重复拉取到该消息而重复消费
超过max.poll.interval.ms时间还没消费完就会触发重平
                            
                                2023-09-14
                            
                                    Kafka
                                
                            Kafka的副本机制有什么用？
                        
                                一、什么是Kafka的副本机制？Kafka的副本机制，也就是备份机制，指在分布式集群中每个节点都同步了相同的数据备份。
二、Kafka的副本机制有什么用？Kafka的副本机制是保证消息可靠性的重要手段之一，它可以：

提高可用性：每个top
                            
                                2023-09-14
                            
                                    Kafka
                                
                            副本机制
                        
                            什么是Kafka的重平衡机制？
                        
                                一、什么是Kafka的重平衡机制？Kafka的重平衡（Rebalance）机制指的是消费者组（Consumer Group）新增或删除消费者（Consumer）时，Kafka集群会重新分配topic分区给各个消费者，以保证每个消费者消费的分
                            
                                2023-09-13
                            
                                    Kafka
                                
                            什么是消息队列？
                        
                                一、什么是消息队列？消息队列（Message Queue），简称MQ，是一种应用间的通信方式，主要由三部分组成：

生产者（Producer）：负责消息发送
代理（Broker）：负责消息存储
消费者（Consumer）：负责消息消费

二
                            
                                2023-09-13
                            
                                    Kafka
                                
                            Kafka如何解决消息积压问题？
                        
                                一、Kafka如何解决消息积压问题？首先分析一下消息积压问题的原因，如果不是系统BUG导致的，那就需要优化消费端的逻辑，来提高消费速率。
如果是系统BUG导致的，那么需要先修复系统BUG，然后再做临时扩容来消费大量的积压消息，具体步骤如下：
                            
                                2023-09-06
                            
                                    Kafka
                                
                            Kafka面试题
                        
                                一、Kafka面试题1、Kafka的副本机制有什么用？Kafka的副本机制是保证消息可靠性的重要手段之一，它可以：

提高可用性：Kafka每个topic有多个分区，每个分区有多个副本，但其中只能有一个是leader副本，其余的都是foll
                            
                                2023-07-12
                            
                                    Kafka
                                
                            Kafka