vault backup: 2024-07-04 12:40:41

This commit is contained in:
Struchkov Mark 2024-07-04 12:40:41 +03:00
parent f3782a43a8
commit aad30b44c3
No known key found for this signature in database
GPG Key ID: A3F0AC3F0FA52F3C
3 changed files with 9 additions and 5 deletions

View File

@ -25,11 +25,11 @@
"recentFilesStore": [
{
"filepath": "_inbox/Consumer Group.md",
"timestamp": 1720085593192
"timestamp": 1720085956278
},
{
"filepath": "_inbox/00 Kafka.md",
"timestamp": 1720085589204
"timestamp": 1720085948146
},
{
"filepath": "_inbox/00 RabbitMQ.md",

View File

@ -33,7 +33,6 @@ Apache Kafka это платформа потоковой передачи,
- Offset - позиция записи
- Pratition - шард топика
Из одного Pratition может читать только один producer. Но producer может читать несколько Pratition одного и того же топика.
Доставка сообщений в Kafka может осуществляться как минимум тремя способами:
- не менее одного раза (at-least-once) сообщение будет отправляется потребителям до тех пор, пока те не подтвердят его получение;
@ -62,4 +61,7 @@ Apache Kafka это платформа потоковой передачи,
- Можно настроить ротацию, чтобы старые сообщения удалялись.
- Для улучшения производительности желательно под кафку выделять отдельные жесткие диски. Менее актуально для SSD.
- Есть возможность сжатия данных в топике. Аля архивация.
- Использует zookeeper для хранения мета-данных. В новых версиях может уже не использовать.
- Использует zookeeper для хранения мета-данных. В новых версиях может уже не использовать.
## Дополнительно
- [Consumer Group](Consumer%20Group.md)

View File

@ -11,7 +11,9 @@ linked:
---
Consumer Group позволяет распределить сообщения в топике между различными консьюмерами. Тем самым распределив нагрузку между репликами.
Этот механизм работает на базе партиций топика. В идеале
Этот механизм работает на базе партиций топика. В идеале создавать количество партиций равное количеству консьюмеров в группе. Если создать меньше, то часть консьюмеров будет простаивать не выполняя полезную работу, если создать больше, то некоторые консьюмеры возьмут на себя обработку сразу нескольких партиций, то есть нагрузка будет распространена не равномерно.
Внутри консьюмер группы из одного Pratition может читать только один consumer. Но consumer может читать несколько Pratition одного и того же топика.
Consumer Group автоматически перестраивается при изменении количества консьюмеов.
![](Pasted%20image%2020240704123320.png)