[Страница на сайте](https://e5ash.com/services/etl)

Интеграции и данные

# Разработка ETL/ELT для рабочих данных

Получаем сведения из согласованных рабочих систем, проверяем и приводим к нужной структуре. Настраиваем один поток загрузки по расписанию с журналом ошибок и контролем обновления. Аналитика получает данные по понятным правилам.

 [Обсудить поток загрузки данных](https://e5ash.com/contacts?service=etl)

Формат работы

 **по этапам**

Состав, точный срок и стоимость согласуем до начала работ.

01 / Результат

## Состав одного потока ETL/ELT

-    **Поток и источники**

    Выбираем данные, доступные способы получения и назначение загрузки.

-    **Преобразование и проверки**

    Описываем сопоставление полей и условия допустимого результата.

-    **Расписание загрузки**

    Определяем периодичность и порядок обновления получателя.

-    **Ошибки и актуальность**

    Сохраняем журнал и показываем состояние согласованного обновления.


02 / Границы задачи

## За рамками базового состава

-   Все источники компании в первом этапе
-   Изменение качества исходных данных без отдельной работы

Нужны примеры исходных записей, структура получателя, доступы и требования к обновлению. Качество источников проверяем до оценки.

## Когда нужен регулярный поток данных

ETL/ELT подходит, если отчёты регулярно собирают из нескольких выгрузок и повторяют одни преобразования. Выбираем один поток с определёнными источниками и получателем, чтобы результат можно было проверить.

Все источники компании в первый этап не входят. Для разового перехода на другую систему предусмотрена  [миграция данных](https://e5ash.com/services/data-migration/index.md) . Регулярная загрузка имеет собственные правила обновления и повторного запуска.

## Как определяем преобразования

Сопоставляем поля, типы, единицы и идентификаторы. Определяем правила для дат, пустых значений и повторных записей. Отделяем изменение представления данных от исправления их делового смысла.

Проверки показывают выбранные несоответствия, но не создают отсутствующие сведения. Изменение качества исходных данных без отдельной работы исключено. Уточняем, кто исправляет источник и как повторно получить корректную запись.

## Как работает загрузка по расписанию

Выбираем периодичность по доступности источника и нужной актуальности. Определяем полный или частичный набор обновления, признаки новых записей и поведение при повторном запуске.

ETL и ELT различаются местом преобразования относительно загрузки; подход выбираем для конкретного получателя.  [Хранилище данных](https://e5ash.com/services/data-warehouse/index.md)  имеет отдельную структуру и задачи, поэтому не считается автоматически созданным любым потоком.

## Как контролируем ошибки и обновление

Журнал фиксирует выбранные этапы и ошибки. Определяем, какой результат считать успешным и как увидеть дату последнего согласованного обновления. При сбое не должны молча показываться новые данные как загруженные.

Для  [BI-отчётов](https://e5ash.com/services/bi/index.md)  важно знать не только значения, но и период данных. Способ передачи статуса согласуем с потребителем. Дополнительные уведомления, источники и правила оцениваем перед расширением.

## Этапы и проверка ETL/ELT

Срок и стоимость зависят от источников, преобразований, объёма и расписания. Работу ведём по этапам после разбора контрольных примеров. Технологии выбираем по условиям проекта, а не обещаем любой готовый коннектор.

При приёмке сверяем выбранные поля, обновление, повтор и обработку согласованных ошибок. Передаём код и описание правил потока. Доступность стороннего источника остаётся внешней зависимостью и учитывается в плане.

## Вопросы перед началом

Вы подключите все источники компании?

Первый этап посвящён одному согласованному потоку и его источникам. Остальные добавляем по отдельной оценке.

ETL исправит ошибки в исходных данных?

Настраиваем согласованные преобразования и проверки. Изменение качества источника требует отдельной работы и ответственного.

Можно обновлять данные по расписанию?

Да. Периодичность выбираем по требованиям и ограничениям источника; журнал и контроль обновления входят в состав.

Следующий шаг

## Опишем один поток от источника до получателя

Покажите образцы данных и нужную структуру результата. Укажите частоту обновления, объём и доступные способы получения сведений.

 [Обсудить поток загрузки данных](https://e5ash.com/contacts?service=etl)  [Как идёт работа](https://e5ash.com/work/index.md)

По вашей задаче

## Может пригодиться

 [Миграция и очистка данных после аудита](https://e5ash.com/services/data-migration/index.md)  [Хранилища данных по этапам](https://e5ash.com/services/data-warehouse/index.md)  [BI — бизнес-аналитика от 8 недель](https://e5ash.com/services/bi/index.md)