Разработка хранилища данных для аналитики
Создаём общую основу для аналитики вместо разрозненных выгрузок. Проектируем модель выбранных данных, хранение и историю изменений, настраиваем первый поток загрузки и доступ для отчётов. Начинаем с согласованной области бизнеса.
Формат работы
по этапамСостав, точный срок и стоимость согласуем до начала работ.
01 / Результат
Состав первого этапа DWH
- Модель данных
Определяем объекты, связи и значения выбранного набора.
- Хранение и история
Выбираем структуру и правила сохранения изменений.
- Первый поток
Загружаем согласованные сведения из выбранных источников.
- Доступ и качество
Настраиваем получение данных аналитикой и выбранные проверки.
02 / Границы задачи
За рамками базового состава
- Корпоративное хранилище всех подразделений за один этап
- Отдельная BI-платформа и восстановление отсутствующей истории
Для оценки нужны источники, образцы, задачи аналитики и требования к истории. Отсутствующую историю заранее выделяем как ограничение.
Для каких отчётов нужно хранилище
Хранилище полезно, если аналитика регулярно соединяет сведения из рабочих систем и нуждается в общей трактовке данных. Выбираем область: например, заказы и связанные справочники, с понятными пользователями отчётов.
Корпоративное хранилище всех подразделений за один этап исключено. Отдельная BI-платформа тоже имеет свой состав. Здесь создаём основу данных и доступ для согласованной аналитики.
Как строим модель выбранных данных
Уточняем сущности, идентификаторы, связи и значение каждого поля. Разбираем, какие сведения являются источником для показателя и как сопоставлять записи разных систем.
Проверяем модель на характерных примерах. Совпадение названий полей ещё не означает совпадение смысла. Правила и ограничения фиксируем, чтобы отчёты использовали согласованную трактовку.
Как сохраняем историю изменений
Определяем, какие значения нужно сохранять во времени и как связывать их с периодом. Выбираем правила обновления текущего состояния и исторических записей в согласованной модели.
Восстановление отсутствующей истории не входит: если источник её не хранит, нельзя обещать прошлые состояния без данных. Для существующей истории проверяем доступный период, полноту и способ получения.
Как загружаем и проверяем сведения
Первый поток загрузки входит в согласованный этап хранилища. Определяем источник, расписание и проверки. Сверяем записи и выбранные связи, отмечаем ошибки и состояние обновления.
Дополнительные потоки развиваем через ETL/ELT. Доступ к данным ограничиваем по задачам аналитики. Для сложных требований к нескольким системам можно отдельно проработать архитектуру продукта.
Этапы и приёмка хранилища
Оценку даём после разбора области, источников, истории и объёма. Работу строим по этапам, чтобы выбранный набор можно было проверить до расширения на другие подразделения.
При приёмке проверяем модель, загрузку, историю и доступ на контрольных примерах. Сравниваем выбранные значения с источниками и отмечаем ограничения качества. Передаём описание структуры и выполненных правил.
Вопросы перед началом
BI-дашборды входят в хранилище?
Отдельная BI-платформа не входит. Согласуем доступ для аналитики; отчёты и визуализации можно оценить отдельным этапом.
Можно восстановить прошлые данные?
Работаем с доступной историей источника. Восстановление отсутствующих исторических сведений исключено.
Первый поток загрузки включён?
Да, для согласованного набора и источников. Дополнительные потоки и подразделения добавляем по этапам.
Следующий шаг
Выберем первую область данных
Назовите нужные отчёты, системы-источники и требуемую историю. Покажите образцы записей — определим модель и первый поток.