digital-garden/_inbox/Шардирование в БД.md

98 lines
11 KiB
Markdown
Raw Normal View History

2024-06-13 21:01:37 +03:00
---
aliases:
- Шардинг
tags:
- зрелость/🌱
date:
- - 2024-03-12
zero-link:
- "[[00 HighLoad]]"
2024-06-20 21:44:23 +03:00
- "[[00 Базы Данных]]"
2024-06-13 21:01:37 +03:00
parents:
linked:
2024-06-20 21:54:23 +03:00
- "[[Партиционирование в БД]]"
2024-06-13 21:01:37 +03:00
---
2024-06-20 21:54:23 +03:00
## Тезисы
2024-07-15 13:40:03 +03:00
- Один из вариантов горизонтального масштабирования данных, но не БД.
2024-07-13 20:30:17 +03:00
- Данные разбиваются на части. В отличии от [партиционирования](Партиционирование%20в%20БД.md) эти части размещаются на разных серверах.
2024-07-13 21:40:44 +03:00
- Не является [репликацией](_inbox/Репликация.md) и [партиционированием](Партиционирование%20в%20БД.md). Но на каждом шарде можно применить партицирование.
2024-07-13 20:30:17 +03:00
- ==Шардирование последняя мера по улучшению производительности.==
2024-06-20 21:54:23 +03:00
***
2024-06-13 21:01:37 +03:00
Шардирование — это метод разделения и распределения больших объёмов данных по разным базам данных или узлам в рамках одной распределённой системы, чтобы облегчить их управление, обеспечить масштабируемость и повысить производительность. Каждая часть данных, или "шард", функционирует как отдельная база данных, и все шарды вместе образуют логически единую базу данных.
Основные принципы шардирования включают в себя:
2024-06-20 21:59:23 +03:00
- **Горизонтальное разделение данных**: Вместо того чтобы хранить все данные в одной таблице или базе данных, они разделяются на меньшие части. Каждый шард содержит часть данных, например, пользователей с идентификаторами от 1 до 1000 в одном шарде и от 1001 до 2000 в другом.
2024-06-13 21:01:37 +03:00
- **Распределение нагрузки**: Поскольку запросы к данным могут обрабатываться параллельно разными шардами, это способствует балансировке нагрузки и увеличению производительности системы.
- **Масштабируемость**: По мере роста объёмов данных новые шарды могут быть добавлены в систему, что позволяет масштабировать приложение горизонтально.
- **Локализация данных**: Шардирование может быть использовано для локализации данных, чтобы уменьшить задержки, связанные с географическим расположением пользователей и баз данных.
**Плюсы:**
2024-06-20 21:54:23 +03:00
- [Горизонтальное масштабирование](Горизонтальное%20масштабирование.md)
2024-07-15 13:40:03 +03:00
- **Улучшение производительности**: Единственный способ ускорить операции вставки в БД.
2024-06-13 21:01:37 +03:00
- **Высокая доступность и устойчивость к отказам**: Отказ одного шарда не приводит к полному сбою системы. Данные в остальных шардах остаются доступными, что повышает общую устойчивость системы к отказам.
2024-07-13 20:30:17 +03:00
**Минусы**
2024-06-20 22:04:23 +03:00
- **Сложность управления**: Нет стандартных механизмов по управлению шардами. В случае добавления или удаления шардов может потребоваться перераспределение больших объемов данных, что может быть ресурсоемкой операцией и повлиять на производительность системы.
2024-06-13 21:01:37 +03:00
- **Трудности с транзакциями и согласованностью**: Шардирование может затруднить обеспечение атомарности и согласованности транзакций, охватывающих несколько шардов, что может потребовать дополнительных усилий для поддержания целостности данных.
2024-07-13 20:30:17 +03:00
**Проблемы:**
2024-07-13 20:35:45 +03:00
- [Решардинг](Решардинг.md)
2024-06-20 09:43:02 +03:00
- [Согласованное префиксное чтение](Согласованное%20префиксное%20чтение.md)
2024-07-13 21:30:44 +03:00
- При запросе SELECT FROM данные могут отдаться сначала все с одного шарда, потом с другого и так далее.
2024-07-15 13:45:03 +03:00
- Запросы не по ключу шардирования обойдут все узлы.
2024-07-13 20:35:45 +03:00
- Запросы по диапазону ключей хэширования могут обойти все шарды.
2024-07-15 14:05:03 +03:00
- Данные не равномерно распределились.
2024-07-13 20:30:17 +03:00
- Попробовать подобрать лучше ключ шардирования/кэш функцию
2024-07-15 14:05:03 +03:00
- [Решардинг](Решардинг.md)
2024-07-13 20:30:17 +03:00
- [JOIN SQL](JOIN%20SQL.md)
- Держать нужные данные на одном шарде
- Делать вычисления в одном сервисе
2024-06-20 09:43:02 +03:00
2024-07-15 13:45:03 +03:00
Как выбрать ключ для шардирования и хэш функцию:
- Определиться, какой функционал для вашего бизнеса самый полезный. Какие запросы нужно выполнить, чтобы этот функционал работал. Как разбить данные так, чтобы данные запросы стали быстрее.
- Подумать о [Решардинг](Решардинг.md). Насколько легко будет добавлять и убирать шарды.
2024-07-14 19:49:48 +03:00
2024-07-15 13:45:03 +03:00
Обычно для распределения по шардам используется какая-то функция шардирования, в которую передается ключ. Популярные формулы хэширования:
2024-07-14 19:49:48 +03:00
- Если ключ цифровой, то можно просто поделить его на количество серверов, получив остаток от деления. Если это строка, то можно взять хэш функцию, которая даст число и уже его делить на количество серверов.
- При изменении количества серверов будет большая головная боль с [решардингом](Решардинг.md), так как придется перетаскивать данные практически со всех шардов.
- Алгоритм crc32.
- какой-то мур-мур
Стратегии распределения данных по шардам:
2024-06-20 22:09:23 +03:00
- [Key Based Sharding](Key%20Based%20Sharding.md). Наиболее распространенный способ.
2024-07-14 19:49:48 +03:00
- [Range Base Sharding](Range%20Base%20Sharding.md). Не использует хэш функцию.
2024-06-30 11:11:56 +03:00
- [Directory Based Sharding](Directory%20Based%20Sharding.md)
2024-07-14 19:49:48 +03:00
- [Consistent hashing](Consistent%20hashing.md). Уменьшает боль от [решардинга](Решардинг.md).
2024-06-30 11:16:56 +03:00
2024-07-14 19:29:48 +03:00
Как направлять на шарды:
2024-06-30 11:16:56 +03:00
- Умный клиент. Приложение само решает в какой шард идти
- Нет дополнительной точки отказа. Нет лишнего хопа.
2024-07-15 13:55:03 +03:00
- Усложняется разработка. Нужно учитывать шардирование при разработке.
2024-07-14 20:59:31 +03:00
- Как выполнять [решардинг](Решардинг.md)?
2024-07-14 21:04:31 +03:00
- Прокси
- Промежуточный сервис между клиентом и БД, который знает о шардинге и передает данные от БД к клиенту.
2024-07-15 13:04:03 +03:00
- Сервисы ничего не знают о шардинге
2024-07-15 13:55:03 +03:00
- Дополнительная точка отказа.
2024-07-14 21:04:31 +03:00
- Но можно попробовать разместить проксю рядом с сервисом.
- Увеличивается количество трафика.
2024-07-15 13:55:03 +03:00
- Уменьшается [Latency](Latency.md). Лишний хоп.
2024-06-30 11:16:56 +03:00
- Координатор
2024-07-15 13:04:03 +03:00
- Промежуточный сервис между клиентом и БД, но в отличие от прокси не отдает сами данные, а указывает сервису в какой шард сходить.
- Сервисы ничего не знают о шардинге.
2024-07-15 13:55:03 +03:00
- Дополнительная точка отказа.
- Уменьшается [Latency](Latency.md). Лишний хоп.
2024-07-15 13:04:03 +03:00
- Intra-database routing
- Клиент обращается к любому шарду БД, а он уже знает в какой шард сходить.
- Так работает [Redis](Redis.md) кластер
2024-06-30 11:21:56 +03:00
2024-07-15 13:55:03 +03:00
Лучше если количество нод будет равно степени 2 (2,4,8). Формула shard_Id % count.
- 16 записей на 8 шардов -> 2 записи на шард
- 16 записей на 16 шардов -> 1 запись на шард
2024-07-13 20:30:17 +03:00
Реализации в СУБД:
- [Шардирование в PostgreSQL](Шардирование%20в%20PostgreSQL.md)
2024-06-30 21:14:15 +03:00
## Заметки
- Как и в случае [партиционирования](Партиционирование%20в%20БД.md) запросы по ключу шардирования ускорятся.
2024-07-13 21:45:44 +03:00
- Можно создавать различные индексы на узлах. При этом может оказаться так, что индексы на исходной таблице могут не подойди для шардирования.
- В 2GIS при переезде на шардирование они создавали шарды, после чего обвешавали основную БД тригерами, чтобы они актуализировали данные в шарда, но при этом продолжали использовать старую БД. В какой-то момент переключились на шарды.