Более 2000 бизнесменов, маркетологов, дизайнеров и разработчиков следят за новостями нашего блога.

Присоединяйтесь:

Подписаться
Отлично!

Подтвердите подписку: письмо в почте, там жмите на ссылку

Все записи
Рассказывает Илья,
Руководитель отдела аналитики

Вспомните, как было неудобно, когда смартфоны еще не появились: наши знания хранились в книгах, воспоминания – в фотоальбомах, а деньги – в свинье-копилке. Сегодня у нас в руках маленькая коробочка, которая решает сразу несколько задач. Нам даже не приходится носить с собой кошелек – оплачивать покупки можно прямо с телефона. Хранение данных в одном месте – вопрос гораздо более важный, чем может показаться на первый взгляд. Несколько лет назад, когда у наших клиентов был не такой большой объем накопленных данных, их можно было анализировать в Excel или Google таблицах. С ростом количества проектов и глубины погружения в бизнес клиента, рос и объем данных, который мы анализируем. Нам понадобилась универсальная система для их хранения и дальнейшей работы с ними. Сегодня я хочу рассказать про инструмент, который мы используем в Out Of Cloud для решения этой задачи. Этот инструмент – Google BigQuery.

Какие возможности дает Google BigQuery?

Google BigQuery позволяет загружать данные, хранить их в формате двумерных таблиц, обращаться к данным с помощью SQL запросов, сохранять и выгружать результаты запросов для дальнейшей работы.

Почему Google BigQuery – это удобно?

Можно выделить 4 главных преимущества Google BigQuery в контексте тех задач, для которых мы его используем:

  1. Компактность. Для хранения данных вам не нужно устанавливать на компьютер дополнительные программы и поддерживать свои сервера – все данные хранятся в облаке.
  2. Скорость. Google BigQuery позволяет с высокой скоростью выполнять запросы к данным, вне зависимости от сложности задачи.
  3. Удобство. Google BigQuery – это простой интерфейс и понятная инфраструктура. Для работы с данными нужно лишь загрузить их в сервис и знать основы SQL. Для выгрузки данных можно использовать Google таблицы, .csv формат или сразу направлять в визуализатор: Google Data Studio или Power BI.
  4. Новые возможности. Google BigQuery позволяет работать без ограничений по параметрам и без агрегирования данных.

 


Задача: собрать данные каждого клиента в одном месте для упрощения их хранения, анализа и работы с ними.


Почему это сложно: наши клиенты работают на разных платформах рассылки (ESP системах) и CRM системах. Из этого вытекает проблема:

Разные клиенты ––> Разные ESP и CRM системы

Рассмотрим проблему на примере e-mail маркетинга. Отправки писем осуществляются с разных платформ: Get Response, Retail Rocket, Expert Sender и так далее. При анализе для нас важно видеть не только данные по коммуникациям (открытия, клики рассылок), но и дальнейшие покупки подписчиков. Эти данные мы получаем из CRM системы клиента в виде выгрузок .xml или .csv формата.

Как решить проблему? Сделаем это в несколько шагов. 

  1. Создать структуру хранения данных в Google BigQuery
  2. Загрузить данные из платформ рассылки в BigQuery
  3. Получить данные о продажах из CRM системы клиента и загрузить их в BigQuery
  4. Связать активность в email c продажами из CRM
  5. Сформулировать гипотезу по проекту – обратиться к данным – подтвердить / опровергнуть гипотезу

Рассмотрим подробнее каждый наш шаг.

Шаг 1. Создать структуру хранения данных клиента в Google BigQuery.

Системы рассылки содержат три разных блока данных:

  1. данные результатов кампаний (email писем)
  2. данные о действиях пользователя в рассылках  
  3. дополнительные поля для каждого пользователя для сегментации.

Таким образом, для нас это – три разные таблицы.

Схема данных с точки зрения одного подписчика выглядит так:

Снимок экрана 2018-09-06 в 2.17.01 ПП

Позже, мы добавляем еще одну таблицу: продажи в привязке к клиентам. Итоговая структура данных, к которой приводятся все данные из ESP и CRM систем, выглядит следующим образом:

Таблица 1 – признаки клиента

Пример:

Снимок экрана 2018-09-06 в 2.23.38 ПП

Таблица также может включать любые другие признаки или переменные, рассчитанные для каждого пользователя, например, это может быть сегмент RFM.

Таблица 2 – активность в рассылках (открытия, клики)

Пример:

Снимок экрана 2018-09-06 в 2.31.22 ПП

Таблица содержит активность каждого подписчика в каждом письме за определенный период времени. Включая отправку, доставку, открытие, клик и ссылку клика, отписку и жалобы на спам.

Таблица 3 – признаки кампаний (единица коммуникации)

Пример:

Снимок экрана 2018-09-06 в 2.34.06 ПП

Таблица содержит данные о каждой кампании, отправленной за определенный период, включая всю статистику, тему (для семантического анализа), время отправки и название отправителя.

Таблица 4 – продажи

Пример:

Снимок экрана 2018-09-06 в 2.37.36 ПП

Таблица содержит информацию о покупках в привязке к id пользователя. Минимальной единицей данных может быть как чек (одна строка данных = один чек покупки), так и товарная позиция (одна строка данных = одна позиция в чеке). Тогда можно анализировать данные по составу покупок.

Обратите внимание, что во всех таблицах фигурируют различные id – пользователя, кампании, заказа. Это позволяет связывать данные из разных таблиц в одном запросе.

 

Шаг 2. Загрузить данные из платформ рассылки в BigQuery.

Теперь, когда структура хранения данных клиента создана, можно начинать ее наполнение. В ход идет информация с платформ рассылки  – начнем выгрузку данных с них. Однако здесь мы сталкиваемся с проблемой: у основных платформ, используемых компаниями, этот процесс настроен по-разному. Где-то данные извлекаются парой кликов, а где-то выгрузка представляет собой сложный многоступенчатый процесс. Для наглядности представим описанное в виде таблицы.

Сравнительная таблица платформ рассылки по выгрузке данных. Данные в каком разрезе можно выгрузить в интерфейсе пользователя парой кликов (+) и нельзя выгрузить в интерфейсе пользователя парой кликов (-) очень сложно.

Table

* – выгрузить можно, но не совпадает с данными CRM и GA из-за различий в атрибуции.

Большая часть данных загружается через парсинг данных. Парсинг данных – это извлечение данных из систем с помощью скриптов на языке программирования и API запросов.

 

Шаг 3. Получить данные о продажах из CRM системы клиента и загрузить их в BigQuery.

После загрузки данных с платформ рассылки, необходимо подгрузить данные из CRM-систем. Это позволит нам, например, отследить то, как изменилась покупательская активность клиента после той или иной рассылки. Данные большинства систем можно загрузить автоматически, в пару кликов.

Если что-то не получилось загрузить автоматически, это всегда можно загрузить .csv файлом вручную. Например, так загружаются практически все данные о продажах из CRM клиентов, потому что к ним нет доступа по API. Ручная загрузка дополнительных данных делается через стандартный загрузчик Google BigQuery.

Снимок экрана 2018-09-06 в 2.00.59 ПП

Для каждой переменной можно задать свой тип данных, например, строку текста или число и режим, обязательную переменную или нулевое значение.

Важно проставлять корректные форматы для данных и следить за кодировкой при загрузке текстовых переменных. Для русского текста актуальна кодировка UTF-8.

 

Шаг 4. Связать активность в email c продажами из CRM.

Теперь, когда в нашей базе данных BigQuery есть информация и с платформ рассылки, и из CRM-систем, мы можем создать единую таблицу по каждому клиенту, привязав действия одного и того же пользователя к внутрибазовому ID.

Казалось бы, зачем для этого использовать BigQuery, ведь многие CRM-платформы могут отображать эти данные? Ответ прост: в большинстве систем нет связки продаж и активности в рассылках, а поскольку мы строим и проверяем гипотезы на основании продаж, нам такая связка необходима. Подобная связка есть лишь у  Mindbox и Retail Rocket, однако использовать эти системы крайне неудобно, и вот почему.

В Mindbox, например, при использовании кастомизированных фильтров для приведения их к двумерной таблице (столбцы = переменные и строки = клиенты), необходимо делать выгрузки таблиц, что попросту неудобно. Плюс Google BigQuery в том, что он гораздо быстрее обрабатывает данные.

В Retail Rocket, в свою очередь, отсутствует разбивка статистики по массовым письмам, поэтому необходимо собирать отчет по каждому письму, и это отнимает лишнее время. Существующая таблица со статистикой не выгружается в csv – она просто отображается на экране, а данные по числу заказов и сумме не всегда совпадают с данными в Google Analytics и CRM из-за различий в атрибуции заказов. Google BigQuery решает все эти проблемы.

 

Шаг 5. Сформулировать гипотезу по проекту – обратиться к данным – подтвердить / опровергнуть гипотезу.

Рассмотрим на примере вопроса, который поступает от менеджера компании и обрабатывается аналитиком.

Вопрос: Добавили в письма ссылки на страницу с купонами, как часто на них кликают? Со временем стали кликать меньше (зарождается гипотеза)?

И какую задачу перед собой ставит аналитик? Построить динамику кликов по ссылке купона в письмах.

Аналитик формирует запрос в Google BigQuery, который кратко можно описать следующими словами:

Возьмем данные из таблицы активности подписчиков, где:

Результат запроса выглядит так:

Снимок экрана 2018-09-06 в 6.07.36 ПП

При использовании стандартного диалекта SQL (их в Google BigQuery два: адаптированный и стандартный), результат запроса можно автоматически отправить в Google Data Studio и построить график. Поскольку мы использовали адаптированный SQL (старая версия), то визуализировать результаты запроса из первого примера можно следующим образом:

  1. Зайти в Google Data Studio и добавить источник данных из Google BigQuery. Пользовательский запрос – выбрать проект – ввести запрос.

Снимок экрана 2018-09-06 в 5.52.02 ПП

  1. На дашборде добавить график и вывести туда нужные переменные. При необходимости задать нужную сортировку.Снимок экрана 2018-09-06 в 5.52.46 ППСнимок экрана 2018-09-24 в 10.00.36 ДП

Итог: гипотеза не подтвердилась – нет никакого тренда в распределении кликов по ссылке.


иллюстр (1)

Вывод: Google BigQuery служит хорошей платформой для сбора данных из нескольких источников и приведения их к единому виду.

Платформа позволяет нам работать с данными всех клиентов в одном месте и по единым запросам. Найдя решение какой-то аналитической задачи на примере одного клиента, мы сможем применить эти знания на другом клиенте, необходимо лишь поменять в запросе источник данных. Кроме того  платформа помогает визуализировать результаты обращений к данным для простоты восприятия и анализа.

У Big Query, как и у любой другой платформы, есть и свои минусы, такие как необходимость ручной загрузки и знания основ SQL. Однако количество плюсов однозначно говорит в пользу выбора именно этой платформы для работы с данными:

Надеюсь, что статья оказалась полезной для Вас и вашего бизнеса. Если что-то показалось Вам слишком сложным, или если Вы хотите обсудить внедрение аналитики для Вашего бизнеса, то Вы всегда можете присылать свои вопросы нам на почту: sales@outofcloud.ru.

А если вам интересно получать ещё больше крутой информации, кейсов, инсайтов, подписывайтесь на наш Телеграм-канал Retention Marketing. Публикуем только самую интересную сочную информацию по нашей теме.  Как влюбить в свой бренд, как заставить говорить о себе, как сделать первоклассный клиентский сервис.

Плюсануть
Поделиться
Класснуть