В условиях стремительного развития цифровых технологий и растущей конкуренции в страховой отрасли, компании становятся все более зависимыми от данных для принятия обоснованных бизнес-решений. Ведь без четко понятной картины поведения пользователей и статистики результатов рекламных кампаний бизнес двигается в слепую.

Автоматизированные отчеты и дашборды упрощают анализ, позволяют быстрее реагировать на результаты и принимать решения на основе реальных данных.
В этом кейсе мы расскажем, как в Qatar Insurance удалось построить аналитику инхауз и как правильно использовать методологию, чтобы сэкономить время и ресурсы компании.

Клиент
Qatar Insurance Company — одна из крупнейших страховых компаний Аравийского полуострова, работающая на рынке более 60 лет. Сегодня в компании работает свыше 1000 сотрудников, из которых более 200 — специалисты digital-направления, включая аналитиков и разработчиков. В последние 3 года компания активно развивает цифровые продукты.

Задачи
Клиент обратился с несколькими проблемами:

• Отсутствие автоматической выгрузки данных из рекламных кабинетов.
• Все отчеты создавались вручную в Google Таблицах.
• Отсутствие дашбордов мешало оперативной аналитике.
• Анализ рекламных кампаний происходил после запуска уже новых рекламных компаний.
• Частые ошибки из-за ручного ввода.

Решение
Благодаря open source решениям разработанными командой AdventumQIC за 1 месяц смогла разработать и внедриить систему аналитики во внутренние процессы по методологии DataCraft. Процесс включал 7 основных этапов:

• Нормализация данных — сбор с помощью Airbyte и загрузка в Google BigQuery.
• Инкрементальная догрузка — постоянное обновление данных по каждому источнику.
• Сведение стримов — консолидация данных из разных систем, включая Google Analitycs 4, Google Ads, CRM.
• Объединение источников — построение единой таблицы для сквозной аналитики.
• Хеширование — создание уникальных ID для сопоставления данных между системами.
• Дедупликация — устранение «злых двойников» — объединение разных идентификаторов одного пользователя.
• Визуализация — дашборды на Google Data Studio и Tableau.

Вся методология была реализована на open-source инструментах. Внедрение происходило по готовому шаблону и скриптам, что позволило быстро развернуть систему.

Архитектура системы

В проекте настроили сбор данных из внешних источников:

• Рекламные площадки (Google Ads, Twitter Ads, Facebook Marketing, Tik-tok Marketing, Snapchat Marketing, Mailchimp)
• Приложения (Google Play, App Store)
• Сервисы по аналитике (Google Analytics, Google Search Console)
• Рекламные платформыEmail-маркетинговые сервисы

Интеграция внешних источников реализована через open-source коннекторы Airbyte, что обеспечивает масштабируемость и гибкость при подключении новых стримов данных. На данном этапе происходят первые шаги нашей методологии, а именно нормализация и инкрементальная догрузка данных. После чего уже собранные данные мы объединили по стримам в источники, а источники комбинируем в общие таблички, на основе которых генерируем хэши и производим графовую дедубликацию. Оркестрация ETL-процессов реализована в Apache Airflow, что позволяет задавать расписания, отслеживать сбои и контролировать актуальность данных.

На этапе обработки используется DataForm — инструмент, схожий с dbt, который позволяет описывать бизнес-логику в виде модульных SQL-моделей. Здесь формируются витрины метрик, агрегируются данные по кампаниям и продуктам, строятся модели атрибуции. Важный элемент — графовая дедупликация: идентификаторы пользователей из разных источников (email, phone, client_id) объединяются в master ID, что позволяет строить полноценные цепочки поведения клиента на всех этапах воронки.

Финальный слой — визуализация и доступ к данным — реализован в Google Looker Studio иTableau. Это обеспечивает возможность как быстрой отчётности, так и продвинутого анализа. Пользовательская роль и доступы к витринам настраиваются детально — система поддерживает разграничение прав на уровне проектов, источников и отдельных чартов. Вся архитектура легко масштабируется и адаптируется под требования локальной инфраструктуры или международной облачной среды.

Сложности: Каждый отдел в QIC использовал разные решения, написанные вручную или унаследованные из старых проектов. Это приводило к конфликтам между методологиями расчета метрик, создавая нестабильную и трудно масштабируемую инфраструктуру. Необходимость поддерживать множество разрозненных решений увеличивала нагрузку на команду и повышала вероятность сбоев в производственной среде. Именно для этого была внедрена централизованная ETL-платформа на базе Airbyte, что позволило команде QIC отказаться от индивидуальных решений под каждый источник. Благодаря этому унифицировался процесс подключения и обновления данных.

Кто и как сейчас работает с платформой в QIC
Основными пользователями платформы являются команды аналитики и интернет-маркетинга. Маркетологи получают доступ к наглядным дашбордам, где могут отслеживать эффективность рекламных кампаний по ключевым метрикам и оперативно сопоставлять рекламные активности с достигнутыми результатами.

Также системой активно пользуются контент-менеджеры и project-менеджеры. Они анализируют, какие именно кампании и каналы лучше всего помогают достигать бизнес-целей. Руководители команд теперь могут самостоятельно находить нужную информацию в отчетах, без необходимости запрашивать аналитику вручную. Это ускоряет принятие решений и снижает нагрузку на аналитический отдел.

Разработчики поддерживают техническую часть системы: настраивают загрузки, пишут SQL-модели, управляют хранилищем и механизмами идентификации пользователей. Топ-менеджмент и продакт-менеджеры используют агрегированные дашборды для отслеживания бизнес-результатов и принятия решений без участия аналитиков. Система с гибкой ролевой моделью стала единым инструментом для всех команд, обеспечивая своевременный доступ к релевантным данным.

Результаты:

Полная автоматизация сбора данных и построения
отчётов.

То, что раньше выполнялось вручную в Google Таблицах и отнимало часы перед каждой планёркой, теперь обновляется автоматически. Это позволило сэкономить до 50 часов в неделю на построение отчетов и визуализации за счет автоматизации процессов выгрузки данных.
Визуализация Было/Стало

Благодаря подключению сервисов у команд появилась возможность быстро и эффективно строить визуализацию данных, что в свою очередь ускорило время на принятие решений на 20% и более эффективно реагировать на изменения.

Одним из ключевых изменений стало то, что дашборды теперь настраиваются заранее, ещё до запуска промо-кампаний, что дает возможность управлять ими «на лету». Команда может видеть, какие креативы и ключевые слова действительно работают, и сразу же корректировать медиаплан. Это позволило не только избежать лишних затрат, но и повысить отдачу от уже запущенных активностей.

В результате этих изменений в третьем квартале 2024 года QIC зафиксировала рост чистой прибыли на 16% по сравнению с предыдущими периодами, напрямую связанный с качественным переходом от ручной отчётности к масштабируемой сквозной аналитике.

Какие планы
В дальнейшем команда проекта планирует масштабировать аналитическую платформу за пределы маркетинга — в сторону продуктовой, CRM и операционной аналитики. Это позволит отслеживать полный путь клиента, выявлять узкие места не только во воронках привлечения, но и внутри продукта, а также анализировать повторные действия и лояльность. Команда сосредоточится на построении моделей прогнозирования LTV и оттока, развитии сегментации пользователей и внедрении предиктивной аналитики для персонализированных кампаний. Также в приоритете — автоматизация сценариев: система будет уведомлять о рисках (например, падении конверсии) и помогать оперативно реагировать на изменения.

Новый стек позволит централизовать аналитику для разных подразделений — от маркетинга до HR и службы поддержки — и работать с едиными метриками, логикой и источниками данных. В итоге платформа превратится в сквозную экосистему бизнес-аналитики, где все решения принимаются на основе единой и оперативной картины.