Клиент и задача
В декабре 2023 года компания “Parametr” пришла в отдел аналитики нашего агентства с задачей построения системы сквозной аналитики.
Parametr — девелопер, реализующий проекты в сегменте коммерческой недвижимости.
Компания проектирует, строит, продает и управляет современными промышленными и логистическими парками под размещение производства. В портфеле компании несколько локаций, в каждой из которых клиентам предлагается высокая вариативность выбора площадей. В проектах отсутствует стандартная нарезка блоков, что позволяет максимально гибко подходить к обработке запроса клиента. В такой гибкой системе очень важно обладать полной картиной предпочтений клиентов, для того, чтобы быстро актуализировать продукт при необходимости.
В отличие от других игроков рынка, заказчик имеет множество каналов привлечения как в оффлайне (например маркетинговые заборы на объектах, POSm, стенды и партнерство на выставках с активной маркетинговой поддержкой и прочие), так и в онлайне, уже более знакомые и привычные для всех (контекст, таргет и прочие). А цикл работы с клиентами после первой заявки составляет от 60 до 120 дней.
В требованиях к сквозной аналитике заказчик обозначил множество пунктов, среди которых:
- Иметь возможность определять как наиболее значимые каналы привлечения, так и неэффективные
- Видеть “портрет” целевого пользователя
- Видеть путь клиента до момента обращения и дальнейшее его движение по воронке
- Определять узкие места в работе с клиентами — на каких этапах воронки они “отваливаются” или находятся дольше всего
- Оценивать ROI и ДРР каналов, а также эффективность каждого рекламного источника с целью принятия решений о масштабировании или, наоборот — уменьшения вкладываемых в него ресурсов
Глобальная задача получилась очень масштабной и была поделена на 3 крупных этапа:
- Аналитика портрета клиента — кто является основной целевой аудиторией проектов компании, лоты какой площади являются самыми конверсионными, как меняются предпочтения клиентов в зависимости от локации объектов и тд.
- Оценка эффективности лидогенерации, аналитика рекламных каналов и трафика на сайте — динамика количества лидов и объема спроса в разрезе канала привлечения, CR из лида в разные шаги воронки и CR из одного шага воронки в другой, затраты на привлечение, уровень фрода, причины отказа, CPO, CPA, ДРР и множество других показателей.
Оценка работы с входящим трафиком — этот этап должен содержать статистику работы менеджеров заказчика с клиентами, такую, как объем обращений из разных средств связи, время обработки заявки в разрезе менеджеров, среднее количество касаний с клиентами и их конверсионность
В этом кейсе мы подробнее рассмотрим реализацию 1 этапа — “Аналитика портрета клиента”.
В качестве системы для визуализации данных, построения дашбордов, был выбран Apache Superset — мощный инструмент с открытым исходным кодом (а значит, можно не бояться за то, что ваш отчет вдруг перестанет работать из-за внешнеполитических событий) большим разнообразием диаграмм и их привлекательным внешним видом.
Взглянуть на фрагменты финального дашборда вы можете в конце этого материала, а пока поговорим немного о технической стороне реализации задачи.
Реализация
Для того, чтобы дашборд с визуализацией данных 1 этапа задачи мог существовать и всегда быть актуальным, нужны данные CRM-системы (заказчик использует amoCRM), их хранение и регулярное обновление.
Для хранения данных нами была создана для заказчика облачная база данных Clickhouse в инфраструктуре Яндекса. Затем, с помощью StreamMyData были созданы потоки данных, которые каждую ночь обновляют данные amoCRM в этой базе.
После того, как мы получили данные из amoCRM в виде разных таблиц — лиды, воронки, клиенты, контакты — мы приступили к написанию кода на Python, который формирует финальную таблицу для визуализации. Небольшой пример сырых данных выгрузки из amoCRM изображен на рисунке ниже:
Код, обрабатывающий данные, работает по следующему принципу:
- отбирает необходимые данные из каждой таблицы данных amoCRM
- приводит данные к нужным типам (числовым, строковым, логическим, датам)
- объединяет обработанные данные всех таблиц по общим ключам — id сделки, id компании, id клиента
- рассчитывает категориальные метрики на основе пожеланий заказчика. Например, класс площади помещения, рассчитываемый на основе того, попадает ли запрашиваемая клиентом площадь в тот или иной диапазон значений
- обрабатывает пропущенные значения. Какие-то заменяет на нули, другие — на пустоту или None-значение (пустая строка и отсутствие значения — это разные вещи)
Завершает весь код обработки данных скрипт, который загружает их в ту же базу данных, в которой лежат исходные данные. На данном этапе оставалось только автоматизировать их регулярное обновление.
С этой задачей нам помогает справиться Apache Airflow — еще один инструмент с открытым исходным кодом, который запускает любой код (в нашем случае код на Python) с заданными частотой и расписанием на ресурсах виртуальных машин.
Весь код, обрабатывающий, извлекающий и объединяющий данные, а также обновляющий таблицу в Базе Данных, выполняется каждые сутки в 7 часов утра. Таким образом на дашборде мы имеем данные, актуальные на момент вчерашнего дня включительно.
Визуализация данных
Здесь мы покажем вам фрагменты финальной версии дашборда и кратким описанием его функционала. Данные на изображениях заменены на искусственные, чтобы сохранить конфиденциальность.
В начале расположены сводные показатели по количеству лидов, количеству успешных лидов и объему спроса в квадратных метрах. Сразу под ними следуют диаграммы динамики количества лидов и объема спроса по дням, а также динамики объема спроса по неделям и месяцам. Этот блок позволяет быстро оценить общую эффективность бизнеса и последние изменения:
Далее следуют диаграммы динамики изменений показателя в процентах. Если значение выше оси X, значит динамика относительно предшествующего периода (недели или месяца) была положительная, если ниже — отрицательная. А сам коэффициент изменения указывается в процентах. Эти диаграммы позволяют очень явно оценить направление и силу изменения показателей:
Под ними расположена группа диаграмм динамики показателей с группировкой по проекту и группировкой по текущему статусу сделки. Сверху находятся диаграммы изменения объема спроса, снизу — количества лидов. Слева динамика представлена по неделям, справа — по месяцам. Каждый цветной столбец это значение для отдельного проекта, по которому обратился с заявкой клиент заказчика:
Следом расположен блок показателей и линий их трендов, а также тепловые карты в виде календаря. Чем темнее клетка на календаре, тем больше величина показателя. Они позволяют быстро визуально выделять самые доходные по объему спроса дни:
Продолжает дашборд группа из нескольких сводных таблиц. На примере снизу изображены таблицы с показателями на пересечении проекта и класса площади. Благодаря цветной заливке значений, эти таблицы позволяют быстро выявить самые эффективные или отстающие проекты и категории площадей объектов:
Под ними следуют диаграммы динамики показателей с разными группировками. Например, на следующем скриншоте изображен фрагмент диаграмм изменения объема спроса по неделям и месяцам с группировкой по типу владения — аренда, выкуп и т.д., а также диаграммы процентного соотношения каждого из элементов группы.
На диаграммах сверху каждый столбец это значение объема спроса для разных типов владения. На нижних диаграммах столбцы это 100% объема спроса за временной отрезок, а цвета на нем показывают, какой процент от него составляет каждый из типов владения:
Следом расположены разные диаграммы, показывающие разброс предпочтений пользователей. Например на данном скриншоте изображен график “sunburst”, у которого внутреннее кольцо это проект обращения, среднее кольцо — основной проект, а наружнее кольцо — альтернативные проекты.
Здесь можно увидеть, что из всех пользователей, у которых проектом обращения был проект “А”, только 11.5% (или 9 человек) рассматривают в качестве альтернативы проект “Б”, и так далее. Эта же диаграмма отвечает нам на вопросы, какой процент клиентов пока не изменяет проект обращения на другой и движется по нему, а какой процент вообще не рассматривает альтернативы:
Иными словами, так как у заказчика в экспозиции одновременно есть несколько проектов, важно отслеживать, склонны ли клиенты менять локацию: какой процент пользователей, привлеченных по рекламе одного проекта, в конечном итоге выбирают альтернативный проект.
Следующий график показывает нам, какой процент и количество клиентов изменили проект обращения на другой и движутся по нему, как по основному, а также на какой именно проект произошло изменение.
На следующем скриншоте мы можем увидеть, что 23.4% от проекта “А”, или 65 человек, в конечном итоге движутся в сделке по проекту “Б”, или то, что 45.8% тех, что движется по проекту “Б” пришли с изначального проекта “А”:
Таким же образом мы можем отследить средние изменения предпочтений в площади обращения:
Завершение
Построение сквозной аналитики, как и любого BI, это комплексная и сложная задача, требующая погружения в бизнес клиента, знания различных технологий и многое другое.
На текущий момент мы уже получили обратную связь от заказчика и специалистов с его стороны, касаемую пользования дашбордом:
Следите за анонсами публикаций реализации следующих этапов построения сквозной аналитики для данного клиента в нашем Telegram-канале и на сайте StreamMyData.
В новых кейсах мы покажем вам, как мы визуализировали эффективность различных каналов продвижения и отдельных рекламных кампаний. Как создавали кастомную модель атрибуции для отслеживания всего пути клиента и оценки влияния каждой активности на продвижение клиента по воронке.
Расскажем о создании линейной модели прогнозирования продаж на основе исторических данных по проектам.
Как вычисляли показатели эффективности — CPO, CPL, CR разных этапов воронки.
Покажем визуализацию эффективности работы менеджеров с входящим трафиком, сколько времени занимает обработка заявок и всех их этапов в разрезе каждого менеджера, на какая у менеджеров конверсия на различных этапах и многое другое.
