摘要：在 Spring kafka 中，错误处理是确保消息消费可靠性的关键。以下是重试机制与死信队列（DLQ）的详细实现方案，结合同步/异步策略和最佳实践：
在 Spring kafka 中，错误处理是确保消息消费可靠性的关键。以下是重试机制与死信队列（DLQ）的详细实现方案，结合同步/异步策略和最佳实践：
1. 重试机制
Spring Kafka 提供两种重试模式：同步重试（阻塞式）和异步重试（非阻塞，基于 Topic 延迟）。
1.1 同步重试配置
通过 DefaultErrorHandler 实现，在同一个线程内进行阻塞重试：
java
@Bean
public ConcurrentKafkaListenerContainerFactory kafkaListenerContainerFactory(
ConsumerFactory consumerFactory) {
ConcurrentKafkaListenerContainerFactory factory =
new ConcurrentKafkaListenerContainerFactory;
factory.setConsumerFactory(consumerFactory);
// 配置同步重试策略
DefaultErrorHandler errorHandler = new DefaultErrorHandler(
(record, exception) -> {
// 重试耗尽后的处理逻辑（可选）
},
new FixedBackOff(1000, 3) // 初始间隔1秒，最多重试3次
);
errorHandler.addNotRetryableExceptions(InvalidDataException.class); // 不重试特定异常
factory.setCommonErrorHandler(errorHandler);
return factory;
}
特点：
阻塞当前消费者线程，可能影响吞吐量。简单易用，适合快速失败场景。1.2 异步重试（推荐）
使用 RetryableTopic 注解或 RetryTopicConfiguration，通过转发到重试 Topic 实现非阻塞重试：
java
@Configuration
@EnableKafka
public class KafkaConfig {
@Bean
public RetryTopicConfiguration myRetryTopic(KafkaTemplate template) {
return RetryTopicConfigurationBuilder.newInstance
.fixedBackOff(1000) // 重试间隔1秒
.maxAttempts(3) // 总尝试次数（初始+重试）
.includeTopics(Collections.singletonList("my-topic"))
.create(template);
}
}
// 消费者类
@KafkaListener(topics = "my-topic")
@RetryableTopic(
attempts = "3",
backoff = @Backoff(delay = 1000),
dltTopicSuffix = "-dlt") // 死信队列后缀
public void listen(String message) {
// 业务逻辑，抛出异常触发重试
}
特点：
非阻塞，通过内部 Topic 实现延迟重试，提高吞吐量。支持不同重试间隔策略（固定、指数退避）。2. 死信队列（DLQ）
当消息重试次数耗尽后，自动路由到死信队列，需单独监听处理。
2.1 配置死信队列
java
@Bean
public DeadLetterPublishingRecoverer dlqRecoverer(KafkaTemplate template) {
return new DeadLetterPublishingRecoverer(template,
(record, ex) -> new TopicPartition(record.topic + "-dlt", -1));
}
@Bean
public DefaultErrorHandler errorHandler(DeadLetterPublishingRecoverer dlqRecoverer) {
return new DefaultErrorHandler(
dlqRecoverer,
new FixedBackOff(1000, 2) // 重试2次后进入DLQ
);
}
2.2 监听死信队列
java
@KafkaListener(topics = "my-topic-dlt")
public void handleDltMessage(ConsumerRecord record) {
log.error("DLQ Message received: key={}, value={}, offset={}",
record.key, record.value, record.offset);
// 人工处理或持久化到数据库
}
3. 高级策略
3.1 异常分类处理
可重试异常（如网络超时）：配置重试。不可重试异常（如数据格式错误）：直接进入 DLQ。java
errorHandler.addRetryableExceptions(SocketTimeoutException.class);
errorHandler.addNotRetryableExceptions(DataParsingException.class);
3.2 自定义重试间隔
使用 ExponentialBackOff 实现指数退避：
java
ExponentialBackOff backOff = new ExponentialBackOff(1000, 2);
backOff.setMaxInterval(10000); // 最大间隔10秒
errorHandler.setBackOff(backOff);
3.3 事务与幂等性
确保消费者逻辑幂等（多次处理同一条消息结果一致）。结合 Spring 事务管理器处理数据库回滚。4. 监控与告警
指标监控：通过 Micrometer 暴露 KafkaListenerErrorHandler 指标。日志追踪：记录消息重试次数和最终状态。告警规则：DLQ 堆积超过阈值时触发通知。总结
同步重试：简单但影响吞吐量，适合低吞吐场景。异步重试：高吞吐推荐方案，需额外 Topic 资源。死信队列：必须配置，用于最终兜底和人工干预。通过合理配置重试策略和 DLQ 处理，可显著提升 Kafka 消费端的健壮性。建议结合具体业务场景选择同步或异步方案，并严格监控 DLQ 堆积情况。
来源：老客数据一点号