Data Vault
All checks were successful
continuous-integration/drone/push Build is passing

This commit is contained in:
Struchkov Mark 2024-11-26 22:34:00 +03:00
parent eb97980dce
commit d8d8e74b4a
No known key found for this signature in database
GPG Key ID: A3F0AC3F0FA52F3C
4 changed files with 17 additions and 11 deletions

View File

@ -1,11 +1,10 @@
--- ---
aliases: aliases:
- Таблицы сателиты
tags: tags:
- maturity/🌱 - maturity/🌱
date: 2024-11-25 date: 2024-11-25
--- ---
**Сателлитные таблицы (Satellite Tables)** — это концепция, часто используемая в методологии **Data Vault**, которая предназначена для моделирования данных в хранилищах. Их основная цель — хранение атрибутов, которые связаны с основными объектами (например, сущностями или событиями), но имеют динамическую природу или часто изменяются.
![[../../meta/files/images/Снимок экрана 2024-11-25 в 13.57.23.png]] ![[../../meta/files/images/Снимок экрана 2024-11-25 в 13.57.23.png]]
**Основные понятия:** **Основные понятия:**

View File

@ -15,12 +15,12 @@ OLAP (Online Analytical Processing) — это тип нагрузки, кото
- Часто используется денормализация - Часто используется денормализация
- Скорость обработки зависит от количества данных, но обычно медленнее чем в [[Online Transaction Processing|OLTP]] - Скорость обработки зависит от количества данных, но обычно медленнее чем в [[Online Transaction Processing|OLTP]]
Примеры задач: **Примеры задач:**
- Поиск зависимостей по товарам, которые пользователи покупают вместе. - Поиск зависимостей по товарам, которые пользователи покупают вместе.
- Получение информации о продажах за последние 3 года. - Получение информации о продажах за последние 3 года.
- Построение аналитики по шаблонам платежей по группам пользователей. - Построение аналитики по шаблонам платежей по группам пользователей.
Причины выделить OLAP нагрузку: **Причины выделить OLAP нагрузку:**
- Разный характер нагрузки, требующий долгосрочного хранения и анализа данных. - Разный характер нагрузки, требующий долгосрочного хранения и анализа данных.
- Специфические стратегии [[Индекс базы данных|индексирования]] для оптимизации аналитических запросов. - Специфические стратегии [[Индекс базы данных|индексирования]] для оптимизации аналитических запросов.
- Работа с большими объемами данных и их обработка в рамках одного запроса. - Работа с большими объемами данных и их обработка в рамках одного запроса.
@ -28,9 +28,15 @@ OLAP (Online Analytical Processing) — это тип нагрузки, кото
Это не то же самое, что создание отдельной реплики для отчетности, так как это не решает проблему разных индексов. Однако на логической репликации это возможно. Это не то же самое, что создание отдельной реплики для отчетности, так как это не решает проблему разных индексов. Однако на логической репликации это возможно.
Рекомендации: OLAP архитектуры:
- Использовать колоночную базу данных - Звезда
- Не вставлять в нее записи по одной, а вставлять пачками. - Снежинка
- [[Data Vault]]
- Lambda
- Kappa
**Рекомендации:**
- Использовать [[Колоночная база данных|колоночную базу данных]]
*** ***
## Мета информация ## Мета информация
**Область**:: [[../../meta/zero/00 Реляционная база данных|00 Реляционная база данных]] **Область**:: [[../../meta/zero/00 Реляционная база данных|00 Реляционная база данных]]

View File

@ -12,9 +12,9 @@ OLTP (Online Transaction Processing) — это тип нагрузки, кот
- Частое выполнение операций `INSERT`, `UPDATE`, `DELETE`. - Частое выполнение операций `INSERT`, `UPDATE`, `DELETE`.
- Подавляющее большинство операций затрагивает только одну строку. - Подавляющее большинство операций затрагивает только одну строку.
- Запросы должны выполняться максимально быстро. - Запросы должны выполняться максимально быстро.
- Высокая степень нормализации таблиц - Высокая степень нормализации таблиц.
Примеры задач: **Примеры задач:**
- Продажа товаров пользователям. - Продажа товаров пользователям.
- Прием платежей за сотовую связь. - Прием платежей за сотовую связь.
## Лучшие практики для оптимизации производительности ## Лучшие практики для оптимизации производительности
@ -22,7 +22,7 @@ OLTP (Online Transaction Processing) — это тип нагрузки, кот
- [[../../../../_inbox/Шардирование БД|Шардинг]] (разделение таблиц): разделение таблиц на части снижает нагрузку и улучшает производительность. - [[../../../../_inbox/Шардирование БД|Шардинг]] (разделение таблиц): разделение таблиц на части снижает нагрузку и улучшает производительность.
- **Избегание блокировок**: минимизация блокировок таблиц и строк особенно важна при большом количестве параллельных транзакций. - **Избегание блокировок**: минимизация блокировок таблиц и строк особенно важна при большом количестве параллельных транзакций.
- Для OLTP-нагрузки не следует использовать параллельное выполнение запросов, так как это забирает ядро процессора у другого запроса, что может привести к задержкам в обработке транзакций и снижению общей производительности системы. В контексте OLTP важнее минимизировать время выполнения каждого отдельного запроса, а не распределять его между несколькими ядрами. ==Каждый запрос должен выполняться на одном ядре как можно быстрее.== - Для OLTP-нагрузки не следует использовать параллельное выполнение запросов, так как это забирает ядро процессора у другого запроса, что может привести к задержкам в обработке транзакций и снижению общей производительности системы. В контексте OLTP важнее минимизировать время выполнения каждого отдельного запроса, а не распределять его между несколькими ядрами. ==Каждый запрос должен выполняться на одном ядре как можно быстрее.==
- #idea Не хранить данные, которые уже не нужны для бизнес-логики, а нужны для OLAP. Попробовать переносить архивные данные в отдельную базу данных. Но возникает вопрос, а как объединять актуальные данные с архивными, чтобы отдавать их на фронт? - Не хранить данные, которые уже не нужны для бизнес-логики, а нужны только для [[Online Analytical Processing|OLAP]]. Попробовать переносить архивные данные в отдельную базу данных.
*** ***
## Мета информация ## Мета информация

View File

@ -1,6 +1,7 @@
--- ---
aliases: aliases:
- Columnar Databases - Columnar Databases
- колоночную базу данных
tags: tags:
- maturity/🌱 - maturity/🌱
date: 2024-11-26 date: 2024-11-26