Kafka consumer и повторная обработка сообщений — место, где многие теряют контроль над данными.
Если consumer не успел корректно обработать сообщение, Kafka может доставить его повторно. Для сервисов это нормально по модели at-least-once. Для бизнеса — уже риск: дубли, повторные списания, лишние записи в БД, сбитые статусы.
Что важно проверить:
- есть ли идемпотентность на стороне consumer’а
- как обрабатываются retry и dead letter queue
- когда именно коммитится offset
- что будет при падении сервиса между обработкой и commit
Если у вас в резюме есть Kafka, этого недостаточно. На собеседовании часто уточняют не «знаете ли вы Kafka», а понимаете ли вы, почему одно и то же сообщение может прийти дважды и как это закрывать в коде и архитектуре ⚠️
Для middle-уровня это базовый вопрос. Для junior — хороший маркер, что опыт не ограничивается запуском consumer’а.
CV Reboot
@CvRebootPro
Kafka consumer и повторная обработка сообщений — место, где многие теряют контроль над данными.
Этот пост опубликован в Telegram-канале CV Reboot. Подписаться можно по ссылке: @CvRebootPro.