Клиент хотел видеть все более детализированную аналитику по рекламным кампаниям, и команде агентства приходилось тратить от четырех часов в неделю на составление отчетов. Это затрудняло оперативный анализ данных и принятие стратегических решений. Егор Демин, аналитик больших данных в MediaNation, рассказывает, как нам удалось автоматизировать сбор рекламных данных и превратить скучные таблички Excel в визуализированные отчеты с наглядными графиками и диаграммами.
Клиент
Сеть стоматологических клиник в Санкт-Петербурге.
Проблема
Сеть клиник столкнулась с проблемой — команда агентства тратила много времени на составление отчетов. Это мешало в режиме реального времени анализировать рекламные кампании, эффективно управлять рекламными бюджетами и оперативно принимать стратегические решения — разрабатывать более целевые маркетинговые стратегии, улучшать клиентский опыт и адаптироваться к изменяющимся требованиям рынка.
Решение
Мы создали для клиента автоматизированную систему отчетности и интуитивно-понятный дашборд с ключевыми метриками.
Чтобы автоматизировать сбор отчетности, мы использовали:
- StreamMyData для интеграции данных;
- BigQuery для обработки и анализа больших объемов информации;
- SQL для эффективного извлечения необходимых данных;
- Apache Superset и Apache Airflow для визуализации данных и автоматизации процессов соответственно.
Этот комплексный подход позволил нам улучшить точность данных и обеспечить удобный доступ к ключевым метрикам и аналитическим данным.
Процесс создания автоматизированного отчета включал следующие шаги:
Идентификация ключевых метрик:
В тесном взаимодействии с командой клиента мы определили основные показатели, влияющие на эффективность рекламной активности. Это включало в себя клики, конверсии, расходы по рекламным кампаниям, CPA, CPC, CPA и другие не менее важные параметры.
Определение источников данных:
Выявление источников данных, необходимых для расчета выбранных метрик. В случае нашего клиента это включало в себя выгрузку данных из рекламных кабинетов на платформах, таких как Яндекс Директ, Яндекс Метрика, VK Реклама и ПромоСтраницы.
Проектирование SQL-запросов:
Разработка эффективных SQL-запросов для объединения данных из различных источников. Это позволило создать единое хранилище данных, где информация была структурирована для последующего удобного анализа.
Определение частоты обновления:
Установление частоты, с которой данные должны обновляться. Важно было учесть, что некоторые метрики требуют более частого обновления, чем другие, например, клики могут меняться ежедневно, в то время как бюджет может обновляться еженедельно.
Интеграция Apache Airflow:
Реализация пайплайна в Apache Airflow для автоматизации процесса обновления данных. Это включало в себя настройку расписания выполнения задач, мониторинг выполнения процесса и обработку возможных ошибок.
Подход к созданию автоматизированного отчета в Apache Airflow обеспечил не только точность и оперативность данных, но и гарантировал, что дашборд был адаптирован к конкретным потребностям и бизнес-целям клиента.
Тестирование и Оптимизация:
После внедрения система прошла тщательное тестирование для обеспечения правильности данных и корректного функционирования автоматизированного процесса. После этого были внесены оптимизации для улучшения производительности и эффективности пайплайна.
Трудности
Одной из ключевых проблем, с которой мы столкнулись в процессе анализа рекламной активности наших клиентов, было отсутствие данных по достигнутым целям через API Промостраниц. Это создавало значительные препятствия для точного анализа эффективности рекламных кампаний и принятия обоснованных решений.
Для решения этой проблемы, мы использовали выгрузку данных из Яндекс.Метрики через сервис StreamMyData. Это позволило нам обойти ограничения API ПромоСтраниц и получить полную картину по достигнутым целям в рамках наших рекламных кампаний.
Однако получение данных из Яндекс.Метрики было только первым шагом. Чтобы обеспечить постоянное обновление и доступность данных для анализа, нам потребовался механизм автоматизации процесса. В результате мы решили внедрить Apache Airflow, позволяющий нам создать пайплайн данных, который регулярно обновляет и подгружает данные из всех рекламных кабинетов клиента в наше централизованное хранилище данных. Этот подход не только обеспечивает актуальность данных, но и значительно упрощает процесс анализа рекламной активности.
Реализация дашборда в Apache Superset
Apache Superset был использован для создания дашборда с возможностями:
- Визуализация ключевых метрик, таких как рекламный бюджет, количество кликов, конверсий и других показателей.
- Возможность отображения динамики по неделям и месяцам для более детального анализа данных.
- Анализ результатов рекламных кампаний с возможностью разделения по различным параметрам для более глубокого исследования эффективности.
Результаты и преимущества
- Экономия времени: Автоматизация процесса существенно уменьшила затраты времени на рутинные задачи.
- Точность данных: Использование передовых инструментов исключило ошибки, связанные с ручным вводом данных.
- Динамические отчеты: Дашборды предоставляют динамические отчеты по ключевым метрикам, обеспечивая полный обзор рекламных кампаний клиента.
- Развернутые аналитические данные: Данные доступны в разрезе по неделям и месяцам, а также по различным рекламным кампаниям (Яндекс.Директ, Яндекс.Метрика, VK Реклама, Промостраницы) и целям.
- Созданная система для создания дашбордов обладает низким порогом вхождения: достаточно предоставить только набор рекламных систем и идентификаторы целей, которые требуется отслеживать.
Результаты
Благодаря использованию StreamMyData и Apache Airflow мы смогли обеспечить получение актуальных данных и значительно упростить процесс их анализа. Apache Superset успешно выступил в роли мощного инструмента для создания дашборда с ключевыми метриками и динамикой по неделям и месяцам. В результате, наш клиент получил удобный инструмент для эффективного мониторинга и принятия обоснованных решений по оптимизации своих рекламных кампаний.
Клиент отмечает, что внедрение дашбордов значительно улучшило их способность анализировать рекламные кампании и эффективно управлять ими. Благодаря дашбордам появилась возможность оперативно отслеживать результаты кампаний и проводить анализ в режиме реального времени, что привело к увеличению эффективности рекламы. Дашборды отразились на бизнес-метриках путем улучшения ключевых показателей, таких как конверсия и средний чек. В результате использования дашбордов были приняты разнообразные управленческие решения, включая перераспределение рекламного бюджета, оптимизацию таргетинга аудитории и внесение корректив в стратегии рекламы. Более того, клиент обнаружил ряд инсайтов, которые не были очевидны до визуализации данных.
