Основы хранилищ данных

• Понятие «хранилище данных». Его возможности и ограничения.
• Зачем создается DWH, какую бизнес-задачу оно решает.

• Классические подходы к проектированию хранилищ данных.
• Типовые компоненты и протекающие процессы.
• Концепции Инмона, Кимбалла и DataVault.
• Обзор основных компонентов (stage, ods, dds, datamart, bi, metadata) и процессов (ETL, ELT, DQ, lineage).

• Общие и частные вопросы управления данными предприятия.
• Информация рассматривается как актив, приносящий ценность и имеющий затраты на получение.
• Концепция «мастер-данные» и системы по их управлению – MDM.

• Шаги проектирования хранилища.
• Типовые приемы и инструментарий при создании.
• Экспертиза участников и инфраструктуры.

• Потребность в хранении исходных данных из системы источника.
• Типичные ошибки при организации данной области и ее отличие от «озера данных».

• Слои операционного и многомерного хранения данных.
• Процессы извлечения, очистки, контроля и сохранения - ETL\ELT.
• Трансформация в целевую схему хранения.

• Типовые сценарии использования данных из хранилищ.
• Основные потребители - системы бизнес-аналитики «BI».
• Устройство типовой БИ системы и причины их большого разнообразия.

• Обзор основных проблем, с которыми сталкиваются хранилища при росте.
• Новые вызовы в области машинного обучения.
• Концепция Data Mesh как альтернатива дальнейшего развития.