etlCraft — способ организации и хранения данных. Его цель — объединить данные в таблицы, которые легко анализировать. Это поможет маркетингу видеть результаты запущенных кампаний и на основе них делать выводы.

В дашборд etlCraft можно собирать важные для маркетолога данные:

• из рекламных площадок (Яндекс.Директ, VK);
• систем аналитики (Яндекс Метрика, Google Analytics);
• CRM-систем;
• ERP и так далее.

В каждой системе своя логика хранения данных. Чтобы построить сквозную отчетность, нужно сделать единую визуализацию данных:

• сделать единообразные названия колонок;
• объединить данные из разных источников, относящиеся к одним и тем же показателям и разбивкам;
• рассчитать нужные для отчетности показатели.

Перед тем, как начать использовать данные, нужно сделать несколько десятков операций. Эти операции обычно соответствуют SQL-запросам, которые перемещают из одной таблицы в другую с разными изменениями.

etlCraft помогает систематизировать данные, чтобы их было легко анализировать и изменять.

etlCraft нацелен на инженеров данных, поэтому далее мы расскажем, как им использовать этот инструмент.

Основывается на трех принципах:

1. Для хранилища составляется модель данных. Это файл в формате YAML, то есть предназначенный для редактирования человеком и для простого парсинга машиной. В файле указывается, какие есть сущности в предметной области и связи между ними, как эти сущности соотносятся с разными таблицами в хранилище. Такая модель позволяет частично автоматизировать рутинные задачи, связанные с приведением данных к одному виду и их объединением.
2. Все таблицы разбиваются на слои. Данные переходят из слоя в слой. Каждый слой отвечает за отдельную задачу.
3. Vault — упрощенный Data Vault. В 2000 году была разработана методика Data Vault, чтобы организовать хранение данных, определить, как должны называться таблицы и колонки, что в них должно содержаться, чтобы это было унифицировано.

Методология была заточена на эффективную работу с «традиционными» СУБД, типа Microsoft SQL Server. Сейчас для аналитического хранилища чаще выбирают «колоночные» СУБД, вроде BigQuery, Greenplum и ClickHouse.
Мы вдохновились Data Vault и создали свою методологию Vault, которая проще для понимания и ориентирована на колоночные базы данных.

Для реализации методологии etlCraft предлагает набор шаблонов в dbt. dbt — инструмент обработки данных, который позволяет производить трансформацию данных с помощью SQL-запросов и шаблонов на языке Jinja.

В etlCraft есть шаблоны типичных запросов, необходимых для следования методологии. Это упрощает работу инженера данных, так как ему остается только выбрать нужные шаблоны и подставить значения в них. Работа по ручному написанию запросов и кода сводится к минимуму.

dbt-скрипты для обработки данных Яндекс.Метрики и Яндекс.Директа:

• нормализации и построения хранилища Vault в ClickHouse;
• создания витрины, в которых объединены данные по расходам и трафику.

Возможность самостоятельно построить модель, содержащую ваши сущности.

Дополнительные dbt-скрипты по обработке данных:

• Google Analytics,
• Appmetrica,
• AppsFlyer,
• VK,
• JagaJam,
• Google Ads,
• TikTok,
• Bitrix,
• Pipedrive,
• Alytics,
• CallTouch,
• CoMagic.

Возможность организации хранилища в СУБД:

• PostgreSQL,
• Google BigQuery.