digital-garden/_inbox/Consumer Group.md

1.5 KiB
Raw Blame History

aliases tags date zero-link parents linked
зрелость/🌱
2024-07-04
00 Kafka

Consumer Group позволяет распределить сообщения в топике между различными консьюмерами. Тем самым распределив нагрузку между репликами.

Этот механизм работает на базе партиций топика. В идеале создавать количество партиций равное количеству консьюмеров в группе. Если создать меньше, то часть консьюмеров будет простаивать не выполняя полезную работу, если создать больше, то некоторые консьюмеры возьмут на себя обработку сразу нескольких партиций, то есть нагрузка будет распространена не равномерно.

Внутри консьюмер группы из одного Pratition может читать только один consumer. Но consumer может читать несколько Pratition одного и того же топика. Но можно создать несколько consumer group для одного и того же топика.

Consumer Group автоматически перестраивается при изменении количества консьюмеов.