Проектирование системы сквозной аналитики благодаря StreamMyData

Проблематика

Общаясь с маркетологами, управленцами и владельцами малого, среднего и крупного бизнеса, которые ставят перед собой задачу обеспечить процветание компаний через рост продаж и прибыли на основе принимаемых ими решений благодаря регулярно собираемым данным о бизнесе, мы поняли, что в этой области очень часто царит хаос и непонимание.

Ситуация обострилась после ухода с российского рынка в начале 2022 году большого количества IT-проектов, которые помогали решать подобные задачи, а также возникли проблемы с оплатами сервисов из-за отключения России от SWIFT.

Все это, а также ворох различных обеспечивающих функционирование интернет-проектов систем , количество которых растет из года в год, приводит к существенным сложностям в решении задачи построения сквозной аналитики и BI для бизнеса.
То и дело приходится следить за обновлением API рекламных систем, писать новые интеграции и пр., что отнимает время и силы команды маркетинга и аналитиков.

Согласитесь, когда вы отвечаете за развитие бизнеса, вам не хочется тратить время на рутинные задачи. Вам хочется опираясь на числа принимать решения по управлению бизнесом и, что главное, вы должны доверять этим числам.

Именно для решения этих задач мы и стали создавать StreamMyData.

Как бизнес строит сквозную аналитику

Сейчас на рынке мы видим три типа проектов:

• вообще не занимаются вопросами аналитики
• используют коробочные решения с разной степенью интеграции в бизнес
• используют enterprise решения по построению сквозной аналитики

Последние стали испытывать сложности, например связанные с тем, что сейчас нет способов законно оплачивать Google BigQuery по договору в России.

Важно отметить, что у тех, кто использует коробочные решения для построения аналитики есть множество ограничений. Например:

• данные хранятся не в вашей СУБД
• вы не можете загрузить произвольные наборы данных
• ограничение списком поддерживаемых системой коннекторов
• нет возможности создавать новые отчеты

Это далеко не полный список всех ограничений, которые накладывают на вас “коробки”, если вы строите сквозную аналитику.

Но как снять эти ограничения? Давайте попробуем разобрать в этом вопросе на примере усредненного проекта

Типовой проект реализации сквозной аналитики

Чаще всего в нашей работе мы сталкиваемся с проектами, чья инфраструктура представлена следующим набором сервисов:

• CRM система:
  • самописная или RetailCRM/amoCRM
• Системы веб-аналитики:
  • Яндекс.Метрика
  • Universal Analytics
  • Google Analytics 4
• Рекламные сервисы:
  • Яндекс.Директ
  • VK Реклама
  • ВКонтакте
  • myTarget
• Коллтрекинг:
  • Calltouch или CoMagic

Обычно, запрос от клиентов с таким перечнем источников звучит так:

В этом запросе скрывается две боли: боль клиента и боль аналитика, кто это будет делать.

Боль клиента заключается в том, что его решение нельзя реализовать при помощи коробочных решений потому что:

• коробочные решения предлагают стандартизированную визуализацию без учета специфики бизнеса, индивидуальных запросов и предложений Заказчика
• нет возможности рассчитать собственные показатели
• данные хранятся на стороне сервиса, т.е. не находятся во владении Заказчика (возникает зависимость от сервиса и невозможность переезда выстроенной инфраструктуры на другие площадки)
• поломки и некорректность передаваемых данных из рекламных кабинетов и других систем

А боль аналитика заключается в том, что данный запрос не является техническим заданием для реализации сквозной аналитики и построения BI. И тут мы бы хотели уточнить, в чем кроется непонимание, которое возникает между заказчиками и аналитиками, к которым они приходят:

Заказчик понимает специфику своего бизнеса, процессов внутри компании, ключевые показатели эффективности и т.д. но у него нет “силы”, которая бы могла аккумулировать все компоненты и выстроить систему взаимосвязи всех систем между собой, что привело бы к созданию результирующего отчета с отображением данных в нужных разрезах для заказчика.

Аналитики, в свою очередь, умеют выстраивать взаимосвязь между системами, но не владеют пониманием устройства бизнеса заказчика и его специфики, могут быть незнакомы с используемыми сервисами (т.к. на рынке их большое множество) и их назначением, либо не знакомы с содержимым сервисов и установленными процессами между сотрудниками заказчика внутри этих сервисов. Бизнесы приходят совершенно разнообразными (от интернет-магазинов, сети клиник стоматологии, отели, заканчивая туроператорами, стриминговыми сервисами просмотра фильмов и сериалов, сервисами бронирования и многое другое). Поэтому команде аналитиков для работы необходимо получить от заказчика:

• • какие системы есть “сейчас” и как они связаны между собой
  • что хранится в системах и какие показателями используются в работе
  • какие показатели необходимо рассчитать дополнительно, понимание как их считать
  • описание путей пользователей от прихода пользователя на сайт до покупки / совершения целевого действия / KPI
  • какие графики, диаграммы, таблицы хотите видеть в Отчете (в виде ТЗ)

Таким образом, перечисленные работы проводятся в формате консалтинга, благодаря которому на первом этапе формируются:

• представление о текущем устройстве систем заказчика и связи между ними
• понимание набора, структуры отчетов, которые нужны заказчику для анализа данных
• архитектура будущего решения системы сквозной аналитики
• технические задания, реализация которых подготовит все системы к объединению между собой

На втором этапе, когда клиент своими или нашими силами реализует предоставленные ему технические задания, мы переходим непосредственно к:

• организации выгрузки и хранения данных в СУБД клиента (ClickHouse, BigQuery, в скором времени появится PostgreSQL)
• объединению данных между собой через SQL-запросы внутри СУБД
• подготовке таблиц с данными для визуализации
• визуализации отчетов по ранее согласованному ТЗ от заказчика в Looker Studio (в прошлом Google DataStudio), Yandex DataLens, Apache Superset.

Этапы брифинга для построения сквозной аналитики и BI

Т.к. для построения системы сквозной аналитики заказчику и его команде необходимо передать аналитикам специфические особенности устройства бизнеса, то заказчик и аналитики вместе проходят через этапы (примерный порядок):
     1. Встреча знакомство:

• Заказчик верхнеуровнево описывает:
  • специфику и структуру бизнеса
  • боли и какие задачи нужно решить
  • список используемых систем и сервисов
• Аналитики в свою очередь:
  • задают уточняющие вопросы
  • рассказывают какие задачи можно решить, какие нет, а какие “на подумать”
  • рассказывают о фишках, которые можно реализовать вместе с системой сквозной аналитики (ML-атрибуцию, атрибуцию по цепям Маркова, предсказания покупок, сегментацию покупателей и т.д)

  Результатом встречи является понимание с двух сторон ВОЗМОЖНОСТИ решить задачи заказчика (да/нет) и готовность заказчика на платный аудит всех систем аналитиками (первая необходимость для проектирования архитектуры системы сквозной аналитики).

     2. Постмит:

По результатам встречи-знакомства Аналитики:

• высылает заказчику список уточняющих вопросов (ответы документируются заказчиком в google таблице)
• инициируют подписание NDA и ДС на платный аудит (структура и результат аудита см. п.ниже)
• согласуют предоставление доступов в системы
• планируют созвоны с сотрудниками Заказчика, причастных к проекту создания системы сквозной аналитики

Заказчик, в свою очередь:

• готовит вместе со своей командой ответы на вопросы (в предлагаемой аналитиками google таблице)
• подписывает NDA и ДС на платный аудит
• предоставляет доступы в системы
• согласовывает предстоящие созвоны с подразделениями, причастными к проекту создания системы сквозной аналитики

     3. Проведение платного аудита:

Аудит включает в себя следующие работы команды аналитиков:

• непосредственно аудит всех систем на предмет наличия необходимых параметров для сквозной аналитики
• проведение нескольких созвонов для уточнений с командой Заказчика
• проектирование системы сквозной аналитики
• Написание технических заданий для клиента, без внедрения которых реализация сквозной аналитики не предоставляется возможной
• Написание примерного плана работ по созданию системы сквозной аналитики

     4. Встреча — предоставление результатов аудита:

На встрече клиент получает демонстрацию и передачу ему:

• архитектуры системы сквозной аналитики (блок схема со связями между системами по полям-ключам)
• перечень блокирующих факторов с рекомендациями по их решению на пути к построению системы сквозной аналитики
• Написанные технические задания для разработчиков, внедрение которых позволит подготовить все системы Заказчика к созданию системы сквозной аналитики

На встрече обсуждается возможность заказчика:

• внедрить предоставленные ему технические задания (либо заказчик решает делегировать внедрение нашим разработчикам)
• решить блокирующие факторы
• переходить к следующим этапам создания системы сквозной аналитики

     5. Внедрение технических заданий и устранение блокирующих факторов:
Если на встрече заказчик согласен внедрить технические задания и решить блокирующие факторы на пути к созданию системы сквозной аналитики, то он с помощью своих разработчиков (или наших — по договоренности на встрече) — внедряет.

Так как внедрением занимаются технические специалисты, то Заказчик параллельно может переходить к следующему этапу.
     6. Формирование технического задания на визуализацию отчетов:
Так как только заказчик знает специфику своего бизнеса и имеет представление, что хотел бы видеть в отчетах, то соответственно:

• Заказчик формирует техническое задание на визуализацию в google таблице (в свободной форме). Это могут быть:
  • скриншоты графиков, диаграмм
  • таблицы с заголовками данных, которые необходимо вывести
  • распределение скриншотов, графиков и таблиц по листам (на тот случай, если Заказчик хочет получить отчет с несколькими листами)

Аналитики, в свою очередь, для помощи Заказчику:

• отправляют примеры готовых отчетов на искусственных данных (чтобы у Заказчика появилась насмотренность и понимание того, как и что еще можно визуализировать)
• изучает техническое задание от заказчика и сообщает, какие его идеи можно реализовать, а какие нет, либо придумывает другую форму, способ их реализации

     7. Создание базы данных:
Своя собственная база данных заказчика нужна для хранения данных в ней. Данные будут принадлежать ему и хранится бессрочно.

Для построения системы сквозной аналитики необходимо использовать базу данных из перечня:

• Google BigQuery
• ClickHouse
• PostgreSQL (появится в скором времени в StreamMyData)

Если у заказчика уже есть одна из перечисленных баз данных, то он предоставляет аналитикам доступ к ней.
     8. Настройка передачи данных:
Аналитики с помощью технологий StreamMyData настраивают передачу нужных данных для построения системы сквозной аналитики из сервисов аналитики, рекламных кабинетов, CRM, коллтрекинга и т.д. в базу данных заказчика.
     9. Выгрузка данных из CRM:
Так как CRM-систем на рынке большое множество, то может оказаться, что в StreamMyData не существует интеграции с CRM Заказчика.
Либо часто бывает, что у заказчика самописная CRM, тогда интеграций с сервисами в принципе не существует.

10. Объединение данных

После того, как внедрены технические задания, устраняющие блокирующие факторы (п.5) и совместно согласовано техническое задание на визуализацию (п.6), аналитики приступают к написанию SQL-запросов по объединению данных между собой. Как это выглядит:

Это кропотливая работа, от внимательности выполнения которой зависит корректность данных в будущем отчете. А отчет, каким бы он визуально красивым ни был, обладает ценностью только тогда, когда данные в нем достоверны.

11. Визуализация данных

После того, как данные объединены в финальные таблицы, аналитики переходят к созданию отчета:

• создают графики, диаграммы, таблицы
• выводят отдельные метрики
• компонуют объекты на листах по смыслу и логике
• подбирают цвета

12. Проверка корректности данных

Далее аналитики сравнивают данные отчета с данными в системах. В случае нахождения несостыковок корректируют SQL-запросы.

13. Предоставление готового отчета Заказчику

На этом этапе система сквозной аналитики считается созданной! Далее аналитики поддерживают работоспособность отчета и корректность данных в нем. Если у заказчика возникают какие-то вопросы — аналитики отвечают.

Архитектура проекта для типового клиента

Когда команда аналитиков с заказчиком определили, данные из каких систем необходимо объединить и по каким полям (ключи объединения), аналитики проектируют систему сквозной аналитики на этапе аудита и представляют ее в подобном виде:

На схеме видно, какие таблицы систем участвуют в объединении, как они связаны между собой. Благодаря нарисованной схеме и проведенному аудиту систем — аналитики составляют технические задания для заказчика, в которых описывают, что необходимо добавить, изменить в каждой системе, чтобы данные удалось успешно объединить между собой.

Выбор СУБД для сквозной аналитики

StreamMyData предоставляет возможность выгружать данные из выбранных вами систем (коннекторов) в такие популярные базы данных как:

• Google BigQuery
• ClickHouse

Более того, если говорить о ClickHouse, то у вас есть выбор стриминга данных в облачный ClickHouse либо в контурный (локальный) ClickHouse.

Также в скором времени в StreamMyData появится на выбор еще одно хранилище: PostgreSQL.

Что дальше делать с этими данными?

Одна из сил StreamMyData заключается в вашей свободе по использованию сохраненных данных.

Вы можете строить любые BI-отчеты, объединяя данные между собой; проводить исследования; фильтровать необходимые данные и загружать их в рекламные кабинеты для таргетингов; создавать сегменты пользователей для email-маркетинга и PUSH-уведомлений и т.д.

Команда StreamMyData со своей стороны предлагает вам содействие по:

• построению автоматизированных отчетов (используем Looker Studio, Yandex DataLens, Apache Superset)
• проектированию системы сквозной аналитики
• сегментированию пользователей (ML-сегментация, RFM-анализ и т.д.)
• предсказанию вероятности совершения конверсий пользователями
• внедрению ML-атрибуции
• внедрению атрибуции на основе цепей Маркова

Важно отметить, что для того, чтобы внедрить модель атрибуции и предсказать вероятность совершения конверсий пользователями — необходимо прежде создать систему сквозной аналитики.

Как сделать визуализацию для сквозной аналитики?

После получения и согласования с заказчиком технического задания на визуализацию отчетов, аналитики рассматривают каждый чарт визуализации и понимают, на базе каких таблиц с данными они будут построены. Таким образом, возникает представление, сколько финальных таблиц необходимо сформировать в базе данных заказчика и какие они по содержанию.

Затем аналитики в базе данных формируют финальные таблицы для визуализации: объединяют системы между собой и оставляют только те поля, которые войдут в отчет (избавляемся от беспорядка и хаоса).
StreamMyData помимо выгрузки таблиц-пресетов (набор часто используемых полей) позволяет по большинству систем создавать кастомизацию выгружаемых полей из перечня всех полей доступных в API этих систем.

Соответственно, создавая систему сквозной аналитики можно в отчете отобразить широкий набор параметров и метрик.

Как только в базе данных сформированы финальные таблицы команда аналитиков StreamMyData приступает к визуализации отчета в системе на выбор: Looker studio, Yandex DataLens или Apache SuperSet.

Выводы

Построение системы сквозной аналитики и BI — это задача, успех которой зависит от вовлеченности как заказчика, так и исполнителя.

Заказчик без командной работы вместе со специалистами и возможностями техническими специалистами и аналитиками не может реализовать все свои идеи отчетности, которые позволили бы ему комплексно и оперативно через разнообразные KPI оценивать:

• операционную,
• маркетинговую
• рекламную деятельность бизнеса

а также принимать эффективные тактические и стратегические решения по их оптимизации.

А команда аналитиков без общения с заказчиком не знает структуру бизнеса и его процессов, не имеет представления об идеях заказчика.