Основы Интернет - технологий.

В 2020 году уже странно слышать, что кто-то собирает отчеты руками, однако люди все-таки продолжают это делать. Причины могут быть разные: нет опыта, дороговизна решений, сила привычки.

В этой статье я предлагаю рассмотреть различные подходы к автоматизации отчетности клиента, а также их плюсы и минусы. Статья рассчитана на специалистов, которые ведут рекламные кампании клиентов, и маркетологов, озадаченных вопросом автоматизации отчетности.

В чем проблемы ручной подготовки отчетов

Представим, что мы готовим отчеты для клиентов раз в месяц или в лучшем случае раз в неделю. Какие проблемы из этого вытекают для нас и клиента:

1. Мы не можем в любой день ответить клиенту на вопрос «Как наши дела?», если не покопаемся в Analytics.
   
2. Счетчик Analytics могут снести нерадивые разработчики, но мы заметим это только в момент создания отчета.
   
3. Метрики выходят за рамки KPI — и часть бюджета уходит не в то русло раньше, чем вносятся необходимые правки в кампании.
   
4. Отчеты и их шаблоны могут «уйти» вместе с уволившимся сотрудником, который их делал.
   
5. Человеческий фактор может сильно влиять на качество отчетов: специалист может допустить ошибки при сведении данных за разные периоды или объединить в одном отчете файлы разных клиентов.
   

Все эти проблемы уходят в прошлое после автоматизации отчетности и настройки системы мониторинга.

Критерии выбора сервиса автоматизации

Прежде чем начать выбирать сервис автоматизации отчетности, необходимо определиться с критериями отбора.

Я не буду говорить про цены, бренд, поддержку и так далее — уверен, что вы и сами это знаете. Я хочу напомнить о другом важном критерии — удобстве конечного пользователя отчетов. К сожалению, выбирая то или иное решение, специалисты о нем часто забывают.

Однако я рекомендую убедиться, что после автоматизации вы сможете сохранить привычный для клиента формат отчета и его функциональность.

Что может включать ваш текущий отчет:

• таблицы;
  
• графики;
  
• план/факт;
  
• сравнение периодов;
  
• срезы на различных уровнях: от источников до ключевых слов;
  
• комментарии;
  
• и любые другие важные для вас и клиента параметры.
  

Формат передачи отчета:

• старый добрый Excel или Google Таблицы;
  
• Word или Google Документы;
  
• PDF;
  
• отчет в Яндекс.Метрике или Google Analytics;
  
• доступ к отчету по ссылке в сервисе визуализации: Power BI или Google Data Studio;
  
• доступ к сервису сквозной аналитики с настроенными отчетами и дашбордами.
  

Из-за изменения формата отчета клиент может испытывать неудобства в работе с данными и выражать в связи с этим свое недовольство.

Чтобы не попасть в ситуацию, когда вы сделали отчет, а клиент отказывается им пользоваться, старайтесь сохранить формат или заранее согласуйте вид новой отчетности. Приведите аргументы, почему эти изменения необходимы.

Этапы автоматизации отчетности

Автоматизация отчетности состоит из нескольких этапов:

1. Сначала из всех необходимых источников собираются данные в единое хранилище.
   
2. Далее происходит обработка, обогащение и сведение данных.
   
3. Получившиеся данные можно использовать для визуализации.
   

Для решения нашей задачи автоматизации мы можем использовать один из подходов:

• воспользоваться сервисом или программой, которая закроет все эти этапы;
  
• распределить решение функций между 2–3 сервисами или программами.
  

С одной стороны, может показаться, что лучше использовать один инструмент, который закроет все задачи. С другой — если вспомнить требования к сохранению формата и функциональности отчета, то окажется не все так однозначно.

А теперь давайте разбираться со способами автоматизации. Чтобы было проще сделать выбор, каждый вариант представит самодостаточное решение, состоящее из одного или нескольких инструментов.

Способ 1. Python или R — языки программирования

Первыми мы рассмотрим языки программирования, тем более что они могут пригодиться при работе со следующими инструментами.

Главный плюс языков программирования заключается в том, что с их помощью вы можете сделать всё, что вам необходимо, и так, как это нужно именно вам: собирать и обрабатывать данные, передавать в базы данных или сохранять в привычные форматы XLS и PDF, создавать визуализации на основе объединенной статистики. А главный минус — это нужно уметь, а чтобы научиться — надо потратить время и деньги.

В свое время я увлекся программированием на языке R. Виноват в этом руководитель отдела аналитики агентства Netpeak Алексей Селезнев, который разработал коннекторы для Яндекс.Метрики и популярных в РФ рекламных систем: Яндекс.Директа, Facebook, «ВКонтакте», myTarget. Готовые коннекторы для Google Analytics, Ads и многих других систем можно найти в сети.

Чаще всего языки программирования сейчас используют именно для сбора, обработки, сведения данных и сохранения в файл или передачу в базы данных. Визуализируют же данные в привычном Excel, Google Таблицах или инструментах визуализации Power BI, Google Data Studio и других.

Если вы готовы вложиться в обучение, то можете пойти по данному пути. Однако чтобы всё работало из коробки, нужно потратить немало времени. Кстати, у Алексея есть свой курс, на котором он обучает работе со статистикой с помощью R.

Итог: использование языков программирования добавляет гибкости в автоматизации отчетности, но для создания конечного продукта нужно будет потратить немало ресурсов, поэтому я в меньшей степени рекомендую этот подход.

Читайте также

Способ 2. Яндекс.Метрика или Google Analytics

Что нужно сделать для автоматизации отчетности в системах аналитики:

1. 
   

   Настроить импорт расходов. Для этого можно использовать сервисы Owox, SegmentStream, myBI Connect, CostUp2.me, Albato (для Метрики) или другие. Среди них придется выбирать по поддержке нужных рекламных систем и, конечно же, цене.

   
   

   Альтернативный вариант — использовать скрипты на языках программирования. Это будет бесплатно, но отказоустойчивость снизится.

   
   
   
2. 
   

   Настроить цели.

   
   
   
3. 
   

   Импортировать звонки, если есть коллтрекинг.

   
   
   
4. 
   

   Настроить импорт офлайн-конверсий из CRM. Для этого также можно использовать сервис автоматизации Albato.

   
   
   

Среди плюсов этого подхода:

• привычные инструменты аналитики;
  
• всё собирается в одном месте;
  
• данные из Google Analytics можно без труда загрузить в Excel, Google Таблицы, Google Data Studio или Power BI для дальнейшей обработки.
  

Минусы:

• необходимо использовать дополнительные сервисы с абонентской платой;
  
• невозможно в системах написать «Итого» по работе за месяц, если только в качестве комментариев.
  

Стоимость сервисов по импорту расходов может начинаться от 0 рублей, а доходить до $50–90 ежемесячно. Цена зависит от сервиса и его возможностей, например, в CostUp2.me для импорта доступен только Яндекс.Директ, а в Owox — более 15 источников.

Способ 3. Excel

Был бы всем хорош этот подход, но его слабое место — загрузка данных.

Из существующих автоматических коннекторов мне известен только ExcelConnector, который позволяет скачать данные из Google Analytics и Яндекс.Метрики. Данные из остальных источников необходимо скачивать вручную или писать коннекторы. О коннекторе для Яндекс.Директа вы можете прочитать в блоге его создателя.

Плюсы подхода:

• привычный для многих интерфейс Excel;
  
• возможность быстро модифицировать визуальное представление отчета;
  
• добавление комментариев для каждой странице отчета, в том числе и динамические, посчитанные с помощью формул;
  
• если данных из Google Analytics с импортированными расходами достаточно, может быть вполне рабочим решением.
  

Минус один — нет коннекторов для популярных рекламных систем. Никакие плюсы не перекроют этот минус.

Читайте также

Способ 4. Google Таблицы

В отличие от Excel для Google Таблиц есть хорошее расширение, которое загружает данные из рекламных систем, — это Supermetrics. У него есть коннекторы для Яндекс.Директа, Google Ads и Facebook. Данные из других систем придется подтягивать вручную или с помощью скрипта на Apps Script — языке для продуктов Google, однако его еще нужно написать. Данные из CRM можно импортировать из внешних файлов или Google Таблиц.

Когда данные будут собраны, их останется почистить и свести. Когда я решал подобную задачу, то обычно соединял в один массив данных статистику по рекламным кампаниям, а к нему через функцию ВПР сводил информацию о целевых действиях и заказах из CRM. Замечу, что ВПР необходимо делать по трем столбцам: «Дата», «Источник трафика» и «ID кампании».

Для верстки отчетов можно использовать сводные таблицы на основе объединенных данных. Я на практике использовал функцию QUERY, которая позволяет гибко формировать запрос к данным, отфильтровывать и сортировать их.

Плюсы этого подхода:

• отчет доступен по ссылке;
  
• права на доступ можно дать ограниченному числу пользователей, а также в любой момент изменить их;
  
• гибкий формат предоставления данных;
  
• написание комментариев в свободной форме.
  

Минусы:

• стоимость Supermetrics — $126 в месяц;
  
• при изменении таблицы одним человеком, другой также видит эти изменения на своем компьютере;
  
• ограничение на 5 млн ячеек, учитываются в том числе пустые столбцы;
  
• чем больше данных в таблице, тем дольше формируется отчет при каждом изменении параметров;
  
• обработка статистики по фразам занимает много времени и места, поэтому оптимальная детализация отчетов — до уровня рекламных кампаний.
  

Итого: стоимость расширения от Supermetrics по сравнению с решениями для импорта расходов в Google Analytics выше в 1,5–2 раза. При этом не для всех рекламных систем есть коннекторы, поэтому и часть данных все равно необходимо грузить вручную. Также надо помнить о скорости: отчеты с большим объемом данных долго «перевариваются».

Больше о работе с Google Таблицами

Способ 5. BigQuery — хранение данных

В отличие от остальных инструментов Google BigQuery неполноценное решение. Это база данных, которая поможет работать с сервисами визуализации.

Как вы уже поняли, основная проблема в автоматизации отчетности — загрузка данных из рекламных систем. Эту задачу хорошо решает передача и хранение информации из источников в облачную базу данных, например, в BigQuery.

Передать данные из источников в облачную базу данных можно с помощью сервисов Renta, myBI Сonnect, Owox и других похожих.

Принцип действия простой:

1. Выбираете источник данных.
   
2. Выбираете поля, которые нужно выгружать.
   
3. Указываете проект и таблицу в BigQuery для загрузки данных.
   

На первый год работы с BigQuery Google предоставляет купон на $300. Чтобы выйти за пределы $5 в месяц в рамках нашей задачи, нужно сильно постараться.

Плюсы данного подхода:

• большой набор коннекторов;
  
• безопасное хранение;
  
• работа с большим объемом данных;
  
• возможность использовать данные из BigQuery в DataStudio, Power BI, Excel, Google Таблицах;
  
• гибкая обработка данных на лету за счет быстрого выполнения SQL-запросов.
  

Минусы:

• нужно разбираться в принципах работы баз данных и уметь писать SQL-запросы;
  
• стоимость сервисов по передаче данных в BigQuery от $60 в месяц.
  

Несмотря на возможные сложности на первоначальном этапе знакомства с инструментом, я считаю изучение BigQuery более оправданным, чем использование языков программирования для написания собственных коннекторов.

Читайте по теме

Как загрузить статистику из рекламных систем в BigQuery

Загрузка статистики из «ВКонтакте» и Facebook в BigQuery — руководство

Способ 6. Data Studio

Google Data Studio — инструмент визуализации, который также закрывает задачи по хранению и обработке данных. Его слабая сторона — всё те же коннекторы к источникам данных.

Есть три варианта решить вопрос с поставкой данных в Google Data Studio:

1. Использовать данные Google Analytics с настроенным импортом расходов.
   
2. Подключаться к Google Таблицам, где собраны данные для построения отчетности.
   
3. Подключаться к облачной базе данных — BigQuery.
   

Все эти способы мы разобрали в предыдущих блоках, поэтому не будем на них снова останавливаться.

Плюсы Data Studio:

• большой набор инструментов визуализации;
  
• безопасный доступ к отчетам и данным с помощью учетных записей Google;
  
• обработка данных и расчетные метрики внутри инструмента;
  

Минусы один — нет встроенных коннекторов к популярным источникам данных.

Итого: это отличный инструментом для автоматизации отчетности в связке с инструментом по импорту данных в BigQuery. Минусы самого BigQuery указаны выше.

Больше о работе с Data Studio

Создаем автоматизированный отчет в Google Data Studio — пошаговое руководство

Google Data Studio: начало работы и первый отчет

Способ 7. PowerBI

На мой взгляд, этот инструмент сильно распиарили, и многие специалисты потратили не один месяц на его изучение. Его неоспоримые плюсы — это гибкость и красивые визуализации.

За что я не люблю создание отчетов в PowerBI:

1. Для редактирования отчета у вас должен быть компьютер на Windows.
   
2. Чтобы поделиться с клиентом отчетом, необходимо, чтобы у него была подписка на PowerBI и это усложняет процесс распространения инструмента.
   

Есть «идеальное решение», по мнению многих специалистов, возможность поделиться отчетом PowerBI по ссылке. Однако в этом случае данные клиента сможет увидеть любой, у кого будет ссылка.

Можно было бы сказать: да кому уйдет эта ссылка? кому эти отчеты нужны? Но несколько лет назад в поиске Яндекса по названию бренда или агентства можно было найти много интересных отчетов, и я сомневаюсь, что клиенты этому обрадовались. Если вас это не смущает — дерзайте.

Загружать данные в PowerBI можно несколькими способами:

• написать собственные коннекторы (настройки подключения) для загрузки данных из всех необходимых источников;
  
• использовать готовые коннекторы, каждый из которых отличается своими индивидуальными настройками;
  
• использовать языки программирования для загрузки данных в PowerBI;
  
• забирать данные из BigQuery.
  

Всё это нетривиальные задачи и требуют немалой подготовки. Но даже если вы загрузите данные, вам необходимо будет свести их в единую систему,

Существует решение от коллег из eLama c готовыми отчетами, оно упрощает создание отчетов. Однако вам все также нужен компьютер с Windows и учетная запись для безопасной передачи данных через отчеты.

Итого: если вы используете Windows и покупка лицензии для клиента для вас не проблема, то стоит рассмотреть этот инструмент в связке с BigQuery или eLama.

Способ 8. Системы сквозной аналитики

В качестве варианта «3 в 1» можно рассмотреть сервисы сквозной аналитики, такие как Calltouch, Alytics, Roistat и другие. Плюсом этого решения станет то, что сервис закрывает все необходимые функции по автоматизации отчетности: загрузка и хранение данных, их обработку и визуализацию.

Вполне возможно, что в одном из сервисов вы уже решаете сопутствующие задачи: отслеживание источников трафика для звонков, автоматизацию контекстной рекламы и другие. Это позволяет без дополнительной платы использовать автоматизированную отчетность. Кроме того, у большинства систем есть возможность автоматически размечать рекламные кампании нужными UTM-метками. Если вас не устроит встроенная отчетность, то благодаря автоматической разметке вы потратите гораздо меньше времени на сведение данных.

Стоит сравнить этот подход по цене с сервисами для импорта расходов в Google Analytics и передачи данных в BigQuery. Например в Calltouch минимальный тариф для построения сквозной аналитики начинается с 990 рублей.

Плюсы этого решения:

• не нужно дополнительно оплачивать, если уже пользуетесь услугами сервиса;
  
• автоматический сбор данных из популярных рекламных систем, систем аналитики и CRM-систем;
  
• наличие таблиц, графиков и дашбордов, которые необходимы для создания отчета;
  
• наличие автоматической разметки рекламных кампаний UTM-метками;
  
• детализация до уровня ключевых слов;
  
• постоянное развитие сервисов и добавление новых возможностей, в частности коннекторов.
  

Среди минусов:

• могут отсутствовать необходимые коннекторы к используемым рекламным площадкам;
  
• готовые решения могут быть «неповоротливы» по визуальной части.
  

О чем надо помнить

Прежде чем скачивать и сводить данные, убедитесь в том, что они корректно собираются:

1. Счетчики аналитики стоят на всех страницах сайта.
   
2. События об отправке формы срабатывает после корректной отправки, а не по нажатию на кнопку.
   
3. Рекламные кампании размечены UTM-метками с использованием динамических параметров.
   

Заключение

В статье описаны все возможные способы автоматизации отчетности. Если бы меня попросили выбрать какой-то из них, то я бы выбрал следующие два:

1. Связка Google BigQuery и Data Studio. Этот подход стоит выбрать, когда нужна максимальная гибкость.
   
2. Готовый сервис автоматизации. Позволит быстро собрать все данные по расходам и целевым действиям в одном месте.
   

Рекомендую изучить инструменты, которые вы уже используете для работы с рекламными площадками, вполне возможно, что они обладают необходимыми возможностями.

Используйте свое драгоценное время для задач, которые нельзя доверить машине.