Как начать использовать StreamMyData

StreamMyData - это сервис, который предлагает инструменты для сбора данных из различных источников и в автоматическом режиме передаёт их в нужные СУБД. Сервис позволяет передавать все необходимые данные непосредственно в выбранную СУБД и использовать различные модели атрибуций и отчеты без ограничений, которые накладывают бесплатные версии веб-аналитических систем. Удобный интерфейс и широкий выбор коннекторов позволяют пользователю самому выбирать какие именно параметры и метрики требуется выгрузить. StreamMyData может быть полезным инструментом для компаний и организаций, стремящихся эффективно собирать и анализировать данные для принятия обоснованных бизнес-решений, оптимизации маркетинговых кампаний и повышения общей производительности своей BI инфраструктуры. В этой статье мы расскажем, как пользоваться сервисом , выполним подготовительную работу в виде создания источника и получателя и запустим поток по передаче данных.Чтобы начать пользоваться сервисом StreamMyData, новым пользователям необходимо пройти процесс регистрации.  Для регистрации в сервисе нужно указать обязательную информацию: адрес электронной почты, придумать пароль и принять политику конфиденциальности. Дополнительно при регистрации вы можете указать свое имя и номер телефона. Затем нажмите на кнопку "Зарегистрироваться".

Для защиты от автоматизированных регистраций и спама, мы используем систему CAPTCHA. Эта система позволяет убедиться, что регистрацию проводит реальный человек, а не робот.Если вы предпочитаете не вводить все эти данные вручную, наш сервис предлагает ускоренный вариант регистрации с помощью вашей существующей учетной записи Google. С этим методом вам достаточно выбрать опцию «Войти через Google», и система автоматически заполнит необходимые поля, используя информацию из вашего профиля Google.  Для новых пользователей StreamMyData предлагает приветственный бонус в виде 1020 Units.Units — это внутренняя валюта сервиса, все услуги оплачиваются ими с вашего баланса в сервисе. 1 unit = 1 рублю.После подтверждения учетной записи приветственный бонус будет зачислен на ваш счет, давая вам возможность ознакомиться с преимуществами сервиса без дополнительных трат. Использование сервиса основывается на трех основных аспектах - это добавление источника данных, добавление получателя данных и запуск потока по передаче данных. Подробно рассмотрим каждый из этих аспектов:Источник данных в сервисе StreamMyData является отправной точкой для начала работы с потоками данных.  Источником может служить любая платформа или система, предоставляющая важные для вашего бизнеса данные. На данный момент в StreamMyData уже интегрирована поддержка многих популярных сервисов и список доступных источников постоянно расширяется.Universal AnalyticsmyTargetRetailCRMVK РекламаAmoCRMAppsFlyerCallTouchCoMagicGoogle AdsGoogle Search ConsoleВКонтактеЯндекс.ДиректЯндекс.ВебмастерGoogle Analytics 4Google SheetsAppMetricaЯндекс.МетрикаДля создания и настройки источников данных в сервисе существует специализированный раздел. Чтобы перейти к списку источников, выберите соответствующий пункт в раскрывающемся навигационном меню, расположенном в левой части страницы.

Эта страница служит центром управления, где вы можете просматривать все свои источники, а также добавлять новые. Рассмотрим процесс добавления нового источника данных: Чтобы начать добавление нового источника, нажмите на кнопку "Добавить источник", расположенную в правом верхнем углу страницы. Придумайте название источника данных, чтобы в будущем вам было проще найти его в списке подключений, и выберите в раскрывающемся списке нужный сервис, откуда хотите выгрузить данные. В данной статье рассмотрим добавление Яндекс.Метрики в качестве источника данных.

В зависимости от источника данных могут потребоваться разные механизмы аутентификации (ввод API ключа, авторизация учетной записи в экосистеме Яндекс или Google и т.д.) Далее, укажите** описание** для вашего источника (необязательное поле) и выполните тест соединения.Тест соединения необходим для проверки корректности настроек аутентификации до того, как вы запустите поток.

После нажатия на кнопку “Добавить источник” вы снова попадете на страницу всех источников, где уже будет отображаться только что добавленный источник данных.

Получатели данных в сервисе StreamMyData играют роль конечных точек для хранения и дальнейшей обработки информации, полученной из ваших источников. Их добавление и настройка является важным этапом в организации потоков данных, поскольку именно здесь определяется, где и как будут использоваться и анализироваться ваши данные. На данный момент сервис StreamMyData поддерживает ClickHouse, PostgreSQL и Google BigQuery. Эти системы предоставляют мощные возможности для хранения больших объемов данных и их последующего анализа.ClickHouseGoogle BigQueryPostgreSQLНа начальном этапе кликните на вкладку “Получатели”, которая находится в раскрывающемся навигационном меню слева. На открывшейся странице вы увидите список уже добавленных получателей или пустой список, если вы еще не добавили ни одного получателя.

Рассмотрим процесс добавления нового получателя данных: Для добавления нового получателя нажмите на кнопку "Добавить получателя", расположенную в правом верхнем углу страницы. Придумайте название получателя данных, чтобы в будущем вам было проще найти его в списке подключений, и выберите в раскрывающемся списке нужный сервис, куда хотите выгрузить данные.

В данной статье рассмотрим добавление получателя на примере ClickHouse. Укажите необходимые параметры для подключения:Хост — доменное имя или IP-адрес, по которому расположен ClickHouseПорт — порт для подключения к ClickHouse. В случае использования ClickHouse, развернутого в облачной инфраструктуре, используется порт по умолчанию — 8443База данных — название базы данных ClickHouseПользователь — имя пользователя для подключения к ClickHouseПароль — пароль для данного пользователяИспользовать SSL — к хостам, для которых настроен публичный доступ, подключиться можно только используя SSL-соединение. Если к хосту нет публичного доступа, использование SSL-соединения необязательно

Опционально вы можете добавить описание для создаваемого получателя данных, чтобы облегчить его идентификацию в будущем. Наконец, выполните тест соединения, чтобы убедиться, что все параметры указаны верно, и StreamMyData может успешно подключиться к ClickHouse.  После успешного теста соединения сохраните настройки, нажав на кнопку “Добавить получателя”.

Теперь ваш ClickHouse настроен как получатель, и вы можете запустить поток для передачи данных из нужного вам источника.

**Для вашего удобства мы подготовили наглядную видеоинструкцию, которая шаг за шагом проведёт вас через процесс добавления получателя данных.**Создание потока данных — ключевой этап взаимодействия с сервисом StreamMyData, позволяющий связать ваши источники и получатели для автоматической передачи данных.Потоки данных представляют собой настроенные каналы, по которым информация перенаправляется из выбранных вами источников данных в определенные получатели данных.Выбрав в левом навигационном меню раздел "Потоки", вы попадете на страницу, которая отображает все существующие потоки (активные и остановленные) или пустой список, если потоки еще не были созданы. 

Шаг за шагом пройдем процесс создания потока, используя добавленные на предыдущих шагах источник и получатель: Для создания потока нажмите на кнопку "Добавить поток", расположенную в правом верхнем углу страницы. Укажите название потока и, при желании, его описание, чтобы в дальнейшем его было проще идентифицировать.

Настройка источника Кликните на кнопку “Выбрать” в блоке “Источник данных” и выберите источник из уже добавленных ранее в вашем аккаунте или создайте новый.

Выбрав источник, можно перейти к его настройке, для этого нажмите на кнопку “Настроить” в блоке** “Настройка источника”**.

Выполните настройку источника, а именно: выберите нужный счетчик Яндекс.Метрики, тип выгружаемых данных, модель атрибуции и период выгрузки. Если вы хотите, чтобы данные выгружались каждый день, то не указывайте значение в поле «Дата по». В данном примере в качестве типа данных были выбраны данные для маркетинга с моделью атрибуции **“Первый источник”. **

Более подробную информацию о доступных отчетах и типах выгружаемых данных для каждого источника можно найти в справочном разделе сервиса.После завершения настройки источника данных нажмите на кнопку “Сохранить”. Настройка получателя Аналогично шагам, связанным с источником, кликните на кнопку “Выбрать” в блоке “Получатель данных” и выберите получателя из уже добавленных ранее в вашем аккаунте или создайте новый.

Выбрав получателя, можно перейти к его настройке, нажав на кнопку “Настроить” в блоке “Настройка получателя”.  Придумайте название создаваемой таблицы, куда данные будут выгружаться.

После настройки источника и получателя вам предстоит решить: Сохранить поток - в таком случае вы сохраните все свои настройки и сможете запустить поток в удобное для вас время.  Сохранить и запустить поток - в таком случае данные начнут выгружаться в выбранную вами систему управления базами данных (СУБД) в течение нескольких часов.

Завершите процесс создания потока - после выбора опции для запуска или сохранения потока, нажмите на соответствующую кнопку, чтобы завершить настройку.  Вы будете автоматически перенаправлены на соответствующую вкладку страницы "Потоки", где сможете увидеть статус вновь созданного потока.

После успешного выполнения потока данные появятся в вашей базе данных. Войдя в свою базу данных и открыв таблицу, которую вы указали при создании потока, вы сможете увидеть результаты выгрузки.

Создание потока данных в сервисе StreamMyData — это простой и интуитивно понятный процесс, который обеспечивает эффективную и бесперебойную передачу данных между вашими источниками и получателями. Таким образом, вы автоматизируете рутинные задачи и можете сосредоточиться на анализе данных и принятии обоснованных бизнес-решений.**Для вашего удобства мы подготовили наглядную видеоинструкцию, которая шаг за шагом проведёт вас через процесс создания потока.**В потоке, который выгрузил статистику за определенный период можно ознакомиться со статистикой, которая позволяет эффективно отслеживать и анализировать процесс выгрузки данных. Статистика представляется в удобных форматах: В виде столбчатой диаграммы, отражающей данные по дням, что дает визуальное представление о динамике и объемах передаваемой информации.

А также в виде детализированного списка, позволяющего углубиться в специфику каждой задачи в частности.

Кроме того, пользователям доступна статистика со списанием юнитов, которая также визуализирована столбчатой диаграммой, показывающей расход валюты сервиса за определённые периоды времени.

Детализированный список списаний позволяет проанализировать списания по каждой задаче, что важно для финансового учёта ваших операций внутри сервиса.

Как было упомянуто в начале статьи, все услуги внутри сервиса оплачиваются через Units или Юниты. Каждый рубль, который вы вносите на баланс системы, трансформируется в юниты. За счет них идет оплата внутри сервиса за те или иные услуги. Существует два способа пополнения баланса:Для юридических лицДля физических лицОплата для юридических лиц Для того чтобы оплатить услуги сервиса от юридического лица, вам нужно написать в отдел поддержки. После этого с вами свяжется ответственный менеджер, заключит договор и выставит счет.Оплата для физических лиц Выберите в левом раскрывающемся меню вкладку “Оплата”, на открывшейся странице вы увидите интерфейс для пополнения счета.

Вы можете выбрать одну из предложенных стандартных сумм или ввести желаемую сумму вручную. После нажатия на кнопку “Пополнить” откроется окно платёжного сервиса CloudPayments, где вы сможете:

• Ввести данные вашей банковской карты;
• Получить квитанцию на e-mail;
• Произвести оплату. 

Если вы предпочитаете использовать другие методы оплаты и в вашем браузере авторизованы в системах «Яндекс» или «Тинькофф», где уже привязана ваша банковская карта, можно воспользоваться быстрыми кнопками “Оплатить с ЯPay“ или “Tinkoff PAY” для удобства.После того, как денежные средства попадут на счет вашего аккаунта в сервисе StreamMyData, вы увидите обновленное количества юнитов. Для вашего удобства мы подготовили наглядную видеоинструкцию, которая наглядно демонстрирует процесс пополнения баланса.

Если у вас появились вопросы, оставьте ваши контакты, мы с радостью на них ответим!