upagge/digital-garden
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

vault backup: 2024-07-03 12:43:36

Browse Source
This commit is contained in:
Struchkov Mark 2024-07-03 12:43:36 +03:00
parent 56b0ac2b58
commit f02c7462b9
No known key found for this signature in database
GPG Key ID: A3F0AC3F0FA52F3C
1 changed files with 9 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
_inbox/Kafka.md
View File

@ -27,6 +27,12 @@ Apache Kafka – это платформа потоковой передачи,
В отличии от [RabbitMQ](00%20RabbitMQ.md) кафка не реализует какой-то роутинг внутри. Предполагается, что за это отвечает consumer.
Терминология:
- Record - запись состоящая из ключа и значения
- Topic - имя потока, куда публикуются Record
- Offset - позиция записи
- Pratition - шард топика
Доставка сообщений в Kafka может осуществляться как минимум тремя способами:
- не менее одного раза (at-least-once) – сообщение будет отправляется потребителям до тех пор, пока те не подтвердят его получение;
- не более одного раза (at-most-once) – сообщение отправляется только один раз и в случае сбоя не отправляется повторно;
@ -53,3 +59,5 @@ Apache Kafka – это платформа потоковой передачи,
- Позволяет повторно считать данные с любого места. Например, мы выполняли какую-то бухгалтерскую логику и поняли, что в приложении была допущена ошибка в формуле расчета. Мы можем удалить невалидные данные, поправить формулу и заново считать все старые сообщения.
- Можно настроить ротацию, чтобы старые сообщения удалялись.
- Для улучшения производительности желательно под кафку выделять отдельные жесткие диски. Менее актуально для SSD.
- Есть возможность сжатия данных в топике. Аля архивация.
- Использует zookeeper для хранения мета-данных. В новых версиях может уже не использовать.