upagge/digital-garden
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

vault backup: 2024-07-04 12:40:41

Browse Source
This commit is contained in:
Struchkov Mark 2024-07-04 12:40:41 +03:00
parent f3782a43a8
commit aad30b44c3
No known key found for this signature in database
GPG Key ID: A3F0AC3F0FA52F3C
3 changed files with 9 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
.obsidian/plugins/home-tab/data.json vendored
View File

@ -25,11 +25,11 @@
"recentFilesStore": [ "recentFilesStore": [
{ {
"filepath": "_inbox/Consumer Group.md", "filepath": "_inbox/Consumer Group.md",
"timestamp": 1720085593192 "timestamp": 1720085956278
}, },
{ {
"filepath": "_inbox/00 Kafka.md", "filepath": "_inbox/00 Kafka.md",
"timestamp": 1720085589204 "timestamp": 1720085948146
}, },
{ {
"filepath": "_inbox/00 RabbitMQ.md", "filepath": "_inbox/00 RabbitMQ.md",

4
_inbox/00 Kafka.md
View File

@ -33,7 +33,6 @@ Apache Kafka – это платформа потоковой передачи,
- Offset - позиция записи - Offset - позиция записи
- Pratition - шард топика - Pratition - шард топика
Из одного Pratition может читать только один producer. Но producer может читать несколько Pratition одного и того же топика.
Доставка сообщений в Kafka может осуществляться как минимум тремя способами: Доставка сообщений в Kafka может осуществляться как минимум тремя способами:
- не менее одного раза (at-least-once) – сообщение будет отправляется потребителям до тех пор, пока те не подтвердят его получение; - не менее одного раза (at-least-once) – сообщение будет отправляется потребителям до тех пор, пока те не подтвердят его получение;
@ -63,3 +62,6 @@ Apache Kafka – это платформа потоковой передачи,
- Для улучшения производительности желательно под кафку выделять отдельные жесткие диски. Менее актуально для SSD. - Для улучшения производительности желательно под кафку выделять отдельные жесткие диски. Менее актуально для SSD.
- Есть возможность сжатия данных в топике. Аля архивация. - Есть возможность сжатия данных в топике. Аля архивация.
- Использует zookeeper для хранения мета-данных. В новых версиях может уже не использовать. - Использует zookeeper для хранения мета-данных. В новых версиях может уже не использовать.
## Дополнительно
- [Consumer Group](Consumer%20Group.md)

4
_inbox/Consumer Group.md
View File

@ -11,7 +11,9 @@ linked:
--- ---
Consumer Group позволяет распределить сообщения в топике между различными консьюмерами. Тем самым распределив нагрузку между репликами. Consumer Group позволяет распределить сообщения в топике между различными консьюмерами. Тем самым распределив нагрузку между репликами.
Этот механизм работает на базе партиций топика. В идеале Этот механизм работает на базе партиций топика. В идеале создавать количество партиций равное количеству консьюмеров в группе. Если создать меньше, то часть консьюмеров будет простаивать не выполняя полезную работу, если создать больше, то некоторые консьюмеры возьмут на себя обработку сразу нескольких партиций, то есть нагрузка будет распространена не равномерно.
Внутри консьюмер группы из одного Pratition может читать только один consumer. Но consumer может читать несколько Pratition одного и того же топика.
Consumer Group автоматически перестраивается при изменении количества консьюмеов. Consumer Group автоматически перестраивается при изменении количества консьюмеов.
![](Pasted%20image%2020240704123320.png) ![](Pasted%20image%2020240704123320.png)