ETL (Extract, Transform, Load)¶
Начиная с версии 4.9, в Staffcop Enterprise реализован новый механизм загрузки данных (ETL). Он существенно ускоряет работу системы за счет снижения нагрузки на процессор и дисковую подсистему.
Примечание
С версии 4.9 работает из коробки, то есть включен по умолчанию при новой установке. Если вы обновили систему с версии 4.8 и ниже, модуль будет выключен.
Что такое ETL¶
ETL подразумевают миграцию данных из одного приложения / базы данных в аналитическую базу данных. ETL выполняет три шага для передачи данных из базы данных A в базу данных B:
Извлечение (Extract),
Преобразование (Transform),
Загрузка (Load).
Извлечение
Чтение и сбор данных из исходной базы. В зависимости от типа системы извлечение может выполняться путем выгрузки плоских файлов или через прямой запрос к API. Выбор метода определяется рисками взаимодействия с системой приложений, требованиями к срокам и рядом других технических ограничений.
Преобразование
Эта функция отвечает за преобразование извлеченных данных в надлежащий формат для анализа и хранения. Процесс включает в себя изменение извлеченных данных из старой структуры в более денормализованный формат. Конкретные правила преобразования целиком зависят от требований конечной базы данных. Например, хранилища данных имеют очень специфический шаблон проектирования, который требует изменения данных и реализации медленно меняющихся измерений.
Загрузка
На финальном этапе подготовленные данные записываются в целевую аналитическую базу или приложение. Загрузка может занять несколько шагов, так как каждый этап может увеличивать данные по-разному. Стандартная настройка — иметь сырые, промежуточные и производственные базы данных. Существуют и другие конфигурации в зависимости от потребностей проекта.
Как включить ETL после обновления¶
Перед активацией убедитесь, что сервер соответствует системным требованиям для нового модуля. Модуль ETL менее требователен к процессору, но использует больше оперативной памяти.
Внимание
Процесс миграции предполагает массовое преобразование данных в базе. Чтобы избежать потери информации, обязательно сделайте бэкап. Рекомендуется также проконсультироваться со специалистами технической поддержки.
Если сервер соответствует требованиям, запустите команду миграции:
screen -S etl
staffcop migrate etl
Система запросит подтверждение создания бэкапа. Не пропускайте этот шаг. После подтверждения начнется процесс миграции, который может занять значительное время в зависимости от объема данных.
Примечание
Если в процессе возникнут ошибки, система уведомит о необходимости восстановления базы данных из резервной копии.