diff --git a/.obsidian/plugins/home-tab/data.json b/.obsidian/plugins/home-tab/data.json index 0f639d80..da9e8137 100644 --- a/.obsidian/plugins/home-tab/data.json +++ b/.obsidian/plugins/home-tab/data.json @@ -25,11 +25,11 @@ "recentFilesStore": [ { "filepath": "_inbox/Consumer Group.md", - "timestamp": 1720085593192 + "timestamp": 1720085956278 }, { "filepath": "_inbox/00 Kafka.md", - "timestamp": 1720085589204 + "timestamp": 1720085948146 }, { "filepath": "_inbox/00 RabbitMQ.md", diff --git a/_inbox/00 Kafka.md b/_inbox/00 Kafka.md index 9308185f..4ae030fe 100644 --- a/_inbox/00 Kafka.md +++ b/_inbox/00 Kafka.md @@ -33,7 +33,6 @@ Apache Kafka – это платформа потоковой передачи, - Offset - позиция записи - Pratition - шард топика -Из одного Pratition может читать только один producer. Но producer может читать несколько Pratition одного и того же топика. Доставка сообщений в Kafka может осуществляться как минимум тремя способами: - не менее одного раза (at-least-once) – сообщение будет отправляется потребителям до тех пор, пока те не подтвердят его получение; @@ -62,4 +61,7 @@ Apache Kafka – это платформа потоковой передачи, - Можно настроить ротацию, чтобы старые сообщения удалялись. - Для улучшения производительности желательно под кафку выделять отдельные жесткие диски. Менее актуально для SSD. - Есть возможность сжатия данных в топике. Аля архивация. -- Использует zookeeper для хранения мета-данных. В новых версиях может уже не использовать. \ No newline at end of file +- Использует zookeeper для хранения мета-данных. В новых версиях может уже не использовать. + +## Дополнительно +- [Consumer Group](Consumer%20Group.md) \ No newline at end of file diff --git a/_inbox/Consumer Group.md b/_inbox/Consumer Group.md index 5a620df0..7f773c54 100644 --- a/_inbox/Consumer Group.md +++ b/_inbox/Consumer Group.md @@ -11,7 +11,9 @@ linked: --- Consumer Group позволяет распределить сообщения в топике между различными консьюмерами. Тем самым распределив нагрузку между репликами. -Этот механизм работает на базе партиций топика. В идеале +Этот механизм работает на базе партиций топика. В идеале создавать количество партиций равное количеству консьюмеров в группе. Если создать меньше, то часть консьюмеров будет простаивать не выполняя полезную работу, если создать больше, то некоторые консьюмеры возьмут на себя обработку сразу нескольких партиций, то есть нагрузка будет распространена не равномерно. + +Внутри консьюмер группы из одного Pratition может читать только один consumer. Но consumer может читать несколько Pratition одного и того же топика. Consumer Group автоматически перестраивается при изменении количества консьюмеов. ![](Pasted%20image%2020240704123320.png) \ No newline at end of file