Основы хранилищ данных

• Получить представление о роли и задачах хранилища данных в ИТ ландшафте предприятия.
• Освоить все этапы жизненного цикла DWH от проектирования к внедрению, эксплуатации и выведению из сопровождения.
• Научиться избегать типовые ошибки при создании хранилищ и освоить методы и практики для успешного сопровождения хранилищ данных.
• Научиться принимать архитектурные решения на этапе проектирования хранилища.
• Научиться самостоятельно разрабатывать концептуальную и физическую ER-диаграммы хранилища.

Тренинг предназначен для:

• архитекторов;
• технических лидеров и ведущих разработчиков;
• системных аналитиков и проектировщиков;
• владельцев продукта (DWH);
• менеджеров проектов (DWH);
• руководителей отделов (DWH).

Также может быть интересным:

• инженерам по качеству данных (DQ);
• BI-специалистам (BI).

Программа

• 1. Введение

  • Понятие «хранилище данных». Его возможности и ограничения.
  • Зачем создается DWH, какую бизнес-задачу оно решает.

• 2. Компоненты и архитектура

  • Классические подходы к проектированию хранилищ данных.
  • Типовые компоненты и протекающие процессы.
  • Концепции Инмона, Кимбалла и DataVault.
  • Обзор основных компонентов (stage, ods, dds, datamart, bi, metadata) и процессов (ETL, ELT, DQ, lineage).

• 3. Управление данными – Data Governance

  • Общие и частные вопросы управления данными предприятия.
  • Информация рассматривается как актив, приносящий ценность и имеющий затраты на получение.
  • Концепция «мастер-данные» и системы по их управлению – MDM.

• 4. Методики проектирования хранилищ

  • Шаги проектирования хранилища.
  • Типовые приемы и инструментарий при создании.
  • Экспертиза участников и инфраструктуры.

• 5. Область хранения исходных данных – Stage

  • Потребность в хранении исходных данных из системы источника.
  • Типичные ошибки при организации данной области и ее отличие от «озера данных».

• 6. Области постоянного хранения – ODS и DDS

  • Слои операционного и многомерного хранения данных.
  • Процессы извлечения, очистки, контроля и сохранения – ETL\ELT.
  • Трансформация в целевую схему хранения.

• 7. Системы-потребители данных хранилища

  • Типовые сценарии использования данных из хранилищ.
  • Основные потребители – системы бизнес-аналитики «BI».
  • Устройство типовой БИ системы и причины их большого разнообразия.

• 8. Новые вызовы в развитии хранилищ данных

  • Обзор основных проблем, с которыми сталкиваются хранилища при росте.
  • Новые вызовы в области машинного обучения.
  • Концепция Data Mesh как альтернатива дальнейшего развития.