Инкрементальность что это в маркетинге
Правда ли рассылка зарабатывает? А если посчитать инкрементальность?
Блочный редактор писем, готовые шаблоны email, формы подписки и автоматизация. Запускайте email-рассылки, чтобы быть на связи со своими клиентами.
Где взять базу? Как сделать красивое письмо? Какие показатели смотреть? Расскажем об этом в бесплатном курсе из 16 писем. Татуировка в каждом письме!
Рассказываем про инструменты для email-рассылок. Обсуждаем лучшие примеры и механики. Говорим о деньгах. Публикуем вакансии.
В прошлом году Uber выяснили, что 80% их рекламы не приносит деньги. Когда они отключили эти рекламные кампании, то не увидели сильного влияния на ключевые метрики бизнеса.
Оказалось, что Uber платили за рекламу, хотя эти же пользователи могли стать клиентами и органически — без дополнительных вложений.
Чтобы узнать эффективность маркетинговых кампаний, Uber считали инкрементальность. Именно эта метрика отвечает на вопрос: «Покупали бы пользователи так же, если бы реклама не показывалась?».
Что означает инкрементальность
Инкрементальность определяет, какие конверсии стали результатом маркетинговых кампаний, а какие произошли бы органически в любом случае.
Многие маркетологи считают доходы кампаний и каналов по атрибуции последнего клика. Это просто замерять, а еще такая функция есть во многих платформах аналитики. Но мы не можем доверять этим данным и однозначно говорить, что последний клик принес продажу — пользователь мог контактировать с компанией в других каналах.
Я разберу расчет инкрементальности на примере массовой email-рассылки. Попробуем ответить на вопрос: «Являются ли письма триггером для покупки или это скорее напоминание и покупка состоялась бы в любом случае?».
Что нужно для рассчета инкрементальности
Чтобы посчитать инкрементальность, нам нужно знать расходы канала, его доход и маржинальность продукта.
В расходы при создании email-рассылки входят:
В качестве доходов берем деньги, которые принесла эта email-рассылка. Смотрим доход в сквозной аналитике или на платформах аналитики и CRM.
Маржа — разница между себестоимостью товара и доходом. Например, в e-commerce средняя маржа — 20-25%.
Пример расчета инкрементальности
Допустим, мы отправили письмо, которое принесло доход в 100 000 рублей. Считать доход можно по-разному: по ласт-клику, глядя на сквозную аналитику или перформанс отдельной кампании. В данном случае считайте так, как вы привыкли это делать.
Расходы на это письмо были 10 000 рублей, а маржинальность товара — 50%.
Шаг 1. Считаем чистую прибыль. Для этого отнимаем от доходов расходы и умножаем их на маржинальность.
Прибыль = (100 000 — 10 000) * 0,5 = 45 000 рублей
По цифрам видим, что рассылка успешна, доходы превышают расходы. С этим можно работать дальше.
Шаг 2. Отключаем рассылку. А что, если не делать email-рассылку и при этом посмотреть на доходы с этой же аудитории? Возможно, на этом этапе выяснится, что email-рассылка не является триггером к покупке.
Шаг 3. Считаем прибыль с отключенной рассылкой. Допустим, доходы с аудитории за время, пока не рассылалась email-рассылка составили 50 000 рублей при расходах 0 рублей:
Прибыль с отключенной рассылкой = (50 000 — 0) * 0,5 = 25 000 рублей
Шаг 4. Сравниваем. Теперь можно сравнить доходы с одной и той же аудитории при отключенной и работающей рассылке. Посчитать «чистый» инкрементальный доход от рассылки можно по формуле:
«Чистый» инкрементальный доход рассылки = Доходы при включенной рассылке — Доходы при отключенной рассылке
В нашем примере это: 45 000 — 25 000 = 20 000 рублей. Это и будет добавочной стоимостью нашей рассылки.
Как можно получить доход, не отправляя письма? Пользователь увидел рекламу в Фейсбук, почитал канал в Телеграмм, сарафанка, сам органически зашел и сделал покупку — все каналы могут действовать. Не емейлом единым.
Вывод: в нашем примере расходы в 10 000 рублей приносят «чистый» инкрементальный доход в 20 000 рублей, как результат email-рассылки.
В нашем случае, чистая доходность email-рассылок составляет 20 000 рублей, а не 45 000 рублей. Выходит, что расходы вдвое меньше инкрементального дохода, поэтому мы можем сказать, что рассылка работает и выступает триггером для покупки у аудитории.
Как применить метод на практике
Приведенный выше пример — это абстракция с придуманными цифрами. Вот как померять инкрементальность на практике.
Определяем, инкрементальность каких каналов будем определять. Инкрементальность чего можно рассчитывать:
Нет смысла измерять инкрементальность транзакционных писем. Эта коммуникация с клиентами — важная часть бизнеса. Лучше всего считать эффективность именно массовых рассылок или дополнительных цепочек писем для cross sell или upsell.
Выбираем аудиторию, которая не будет получать письма. Есть два варианта, как создать такую аудиторию:
Выбираем основную метрику для email-канала. У каждого бизнеса есть свой набор основных метрик для email-канала. Как правило, e-commerce выбирает revenue (доход), а контент-проекты — retention rate. Главное выделить действительно важную метрику для вашего email-канала.
Определяем количество конверсий до остановки теста. Необходимо измерить, при каком количестве конверсий у контрольной группы данный тест будет статистически значимым. Когда вы дойдете до этой цифры, тест можно прекращать и начинать считать результаты. Для того, чтобы вычислить статистическую значимость можно использовать специальные калькуляторы.
Кейс: есть работающая up sell цепочка писем. Мы определили, что достаточно будет более 500 конверсий в покупку с контрольной аудитории, чтобы замерить инкрементальность. Размер сегмента — 110 000 подписчиков, из них мы выделяем 9,091% отдельным сегментом (10 000 подписчиков), на который данную цепочку не отправляем.
В конце месяца узнаем, что 100 000 подписчиков совершили 5 000 конверсий, а тестовый сегмент в 10 000 подписчиков принес 700 конверсий.
Вывод — рассылка, возможно, лишняя и ее не стоит продолжать делать. Аудитория настолько прогрета, что совершает покупки и без письма. Скорее всего, достаточно того, что уже отправляется — запускать лишнюю цепочку не стоит.
Но насколько значимы эти результаты и можем ли мы точно остановить тест? Для оценки, взяли 2 калькулятора для правильного теста:
Калькулятор VWO, который указывает, что тест статистически значим:
Калькулятор AB Testguide, который также подтвердил значимость теста
Тест значим — можем измерить инкрементальность по знакомому алгоритму.
Главная цель любого теста — это использование его результатов в бизнесе. Инкрементальность может подсказать, какую стратегию выбрать, куда лучше инвестировать больше ресурсов или показать, что компания переплачивает за органику.
Инкрементальность будет выше там, где есть бренд или лояльная аудитория. Малому бизнесу лучше воздержаться от подобных тестов, т.к. на данном этапе это может больше навредить. Исключение — если вы подбираете новую стратегию и запускаете тест на очень маленькую аудиторию.
В чем польза измерения инкрементальности
Границы тестов расширяются. A/B-тестов не хватает для ответа на вопрос про добавочную стоимость канала. Но и тесты на измерение инкрементальности, и A/B-тесты запускают лишь единицы. Практика показывает, что это затратный процесс, который требует дополнительных рабочих часов от email-маркетолога, отдела аналитики и других специалистов. Но это окупается с лихвой: измерение инкрементальности помогает оптимизировать стратегию и увеличить монетизацию email-канала за счет снижения расходов и поиска новых идей влияния на метрики.
Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта
Захар Сташевский, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами.
Из этого материала вы узнаете что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью.
Мы разберем подходы к проведению инкрементальных тестов в разных условиях и обсудим, как калибровать модели атрибуции и всю систему оценки эффективности рекламных каналов на основе полученных знаний.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.
Оглавление цикла
Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.
Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.
Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.
Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.
Далее повествование ведется от лица Захара.
В этом цикле материалов мы сосредоточились на проблемах оценки эффективности рекламных каналов.
В первом материале мы разобрали основные проблемы, с которыми сталкиваются команды в процессе управления каналами роста. Второй и третий материалы были нацелены на детальное изучение принципов работы моделей атрибуции — одного из главных инструментов оценки эффективности рекламных каналов.
Этот материал посвящен теме инкрементальности рекламных каналов: оценке истинного влияния рекламы на рост вашего продукта.
Понимание объективной эффективности каналов — фундамент для правильного расчета ROI (юнит-экономики) и формирования оптимального маркетинг-микса.
Инкрементальность и модели атрибуции
В предыдущих материалах мы уже обсудили, что модель атрибуции позволяет с определенной точностью получить оценку эффективности рекламных каналов, выполняя роль компаса в управлении маркетинг-миксом. При этом модель атрибуции должна эволюционировать при изменениях в ключевых элементах модели роста. В противном случае — она перестанет достаточно точно описывать реальность, что приведет к снижению качества принимаемых решений.
Для того, чтобы понять, насколько точно работает модель атрибуции и нуждается ли она в доработке, следует изучить инкрементальность рекламных каналов — определить истинное влияние рекламы на рост продукта.
Давайте рассмотрим простой кейс из области управления продуктом, который поможет понять, что такое инкрементальность.
Что такое инкрементальность на примере продуктовой фичи
Вы работаете над продуктом, который монетизируется с помощью фичи X. Недавно вы запустили новую фичу Y, которая тоже работает на монетизацию.
Фича Y начала приносить доход. Но как понять, приносит ли она реальную пользу бизнесу? Может быть, она просто перераспределяет деньги, которые вы и раньше получали благодаря функциональности X (ниже — сценарий 1)? Или же она дает инкрементальный доход поверх того, что вы зарабатывали бы без нее (ниже — сценарий 2)?
Изучите последнюю картинку, где:
Обратите внимание, что в обоих сценариях атрибутированная фиче Y выручка одинакова. Однако инкрементальная выручка от фичи Y различается.
На практике, чтобы ответить на вопрос об инкрементальности новой фичи Y, нужно провести A/B-тест. То есть разделить аудиторию на тестовую и контрольную группы, где тестовой группе дать версию продукта с новой фичей Y, а для контрольной группы — оставить продукт без изменений.
Сравнив показатели дохода на пользователя в каждой из групп эксперимента, мы сможем понять, как на самом деле фича повлияла на бизнес. Какая часть из денег, которые она приносит — это дополнительный инкрементальный доход, а какая — забранный доход от других механизмов монетизации.
Таким образом, изучение инкрементальности определенной фичи — это ответ на вопрос, какова ее истинная дополнительная ценность для бизнеса.
Инкрементальность в маркетинге — понимание реальной причинно-следственной связи между каналом и целевыми действиями в продукте
Мы разобрали пример проблемы инкрементальности продуктовой фичи. С рекламными каналами возникает точно такая же проблема.
Канал может привлекать новых пользователей и генерировать доход в соответствии с данными модели атрибуции.
Ключевой вопрос — являются ли эти пользователи и доход дополнительными, то есть инкрементальными? Если бы мы отключили этот канал, то насколько просели бы общие показатели бизнеса?
Важно понимать, что инкрементальные целевые действия могут отличаться от фактически атрибутированных целевых действий, так как по умолчанию модели атрибуции не умеют учитывать такого рода взаимосвязи с точностью в 100%. Равно как доход, атрибутированный фиче Y в примере выше, не в полной мере отражал инкрементальный доход от этой фичи, так и модели атрибуции трафика не могут абсолютно точно определить влияние канала на рост продукта.
Модели атрибуции и инкрементальность — в чем разница
Инкрементальность отражает истинную ценность канала для бизнеса — причинно-следственную связь между инвестициями в рекламный канал и целевыми действиями.
Единственный объективный способ оценить инкрементальность — это A/B-тест. Если вернуться к примеру с фичей Y, то у вас не было другого объективного способа определить ее инкрементальность, кроме проведения эксперимента.
Но проблема в том, что вы не можете делать инкрементальные A/B-тесты каждый раз, когда хотите оценить эффективность конкретного рекламного канала, кампании или креатива. Такие тесты требуют времени и денег, а решения по оптимизации маркетинговых активностей нужно принимать регулярно и быстро.
Именно поэтому мы пользуемся моделями атрибуции, которые позволяют быстро и с приемлемой точностью понять, как именно разные каналы влияют на целевые действия, то есть оценить инкрементальность канала с некоторой погрешностью.
Но сами по себе модели атрибуции не понимают причинно-следственных связей между каналами и целевыми действиями в продукте. Они служат ориентиром, причем эффективность их работы сильно зависит от ряда динамических факторов — конкуренции в канале, влияния каналов друг на друга, изменений на уровне бюджета, продукта или бизнес-цели.
Поэтому модели атрибуции нуждаются в постоянной калибровке (эти темы мы обсуждали в предыдущих материалах):
Как проверить настолько точна модель атрибуции?
Как применять на практике понимание связи модели атрибуции и инкрементальности
Шаг 1. Понять, есть ли проблемы с инкрементальностью каналов (расходятся ли атрибутированные и инкрементальные целевые действия)
Инкрементальные исследования каналов — это ресурсоемкая задача. Поэтому прежде чем проводить инкрементальные тесты, нужно определить каналы, где могут быть проблемы.
Мы будем говорить, что существует проблема инкрементальности канала, если есть большая разница (более 15–20%) между атрибутированными целевыми действиями и реальным количеством целевых действий в результате использования канала. В продуктовой аналогии в начале статьи это соответствует первому сценарию.
Наиболее остро проблема инкрементальности может быть выражена в следующих ситуациях:
Шаг 2. Оценить инкрементальность рекламных кампаний с помощью инкрементальных A/B-тестов
Если ваша ситуация соответствуем каким-либо из описанных выше критериев, то стоит перейти к инкрементальным тестам.
В начале материала мы рассмотрели пример инкрементального тестирования на примере A/B-теста продуктовой фичи. Давайте предположим, что с помощью эксперимента мы смогли оценить инкрементальный доход в результате запуска фичи Y (ниже — сценарий 2).
Для оценки инкрементальности рекламы нужно использовать точно такой же подход. Только в этом случае вы будете проводить A/B-тесты не на уровне продуктовой фичи, а на уровне маркетингового канала.
Но если в продукте провести эксперимент в большинстве случаев достаточно просто, то в случае маркетинговых каналов задача сильно усложняется. Вы не контролируете тестовую среду — взаимодействие пользователя с рекламой происходит за рамками продукта.
Некоторые рекламные сети решили эту проблему через добавление специальных инструментов для инкрементального тестирования рекламных кампаний. Но есть и такие рекламные каналы, где вам придется самостоятельно имитировать подобные тесты.
Встроенные инкрементальные тесты
Один из примеров встроенных инструментов инкрементального тестирования — это Conversion Lift от Facebook. В основе этого инструмента лежат принципы классического A/B-теста, но только в рамках рекламного канала.
Пользователи из целевого сегмента делятся на две группы. Одна из них будет видеть рекламную кампанию (тестовая группа), а другая — нет (контрольная группа). Разница в количестве целевых действий внутри продукта между пользователями каждой из групп будет отражать инкрементальность кампании (то есть реальное воздействие на целевые действия).
Запускать инкрементальные тесты можно как на уровне рекламного аккаунта, так и на уровне кампании. Найти функциональность инкрементального тестирования можно в разделе «Эксперименты» в рекламном кабинете Facebook.
Пример влияния инкрементального теста на настройку модели атрибуции
Такие тесты помогают понять инкрементальность рекламы на Facebook. Это также позволяет дополнить модель атрибуции новыми правилами, чтобы откалибровать атрибутированные целевые действия с инкрементальными целевыми действиями.
Например, если вы используете внутреннюю модель атрибуции Facebook с параметрами «Click с окном атрибуции в 7 дней» и «Post View с окном атрибуции в 1 день», то после проведения инкрементального теста можете обнаружить, что инкрементальные продажи отличаются от продаж на основе модели атрибуции. Эти знания послужат основой для калибровки модели.
Вы можете поменять правило «Click с окном атрибуции 7 дней» на «Click с окном атрибуции 3–5 дней» и отменить атрибуцию на основе правила Post View, а затем посмотреть, как это повлияло на разницу между атрибутированными целевыми действиями и инкрементальными целевыми действиями в рамках эксперимента.
Минусы инкрементальных тестов
Главный недостаток инкрементальных тестов в том, что для получения результатов нужно накопить достаточно большой объем данных. А это стоит денег.
Подобного рода функциональность инкрементальных тестов доступна не только в Facebook, но и в других рекламных сетях. Обычно это большие сети, например, Сriteo. Также инкрементальное тестирование может быть доступно в трекинговых платформах вроде AppsFlyer.
Важно упомянуть что подобного рода функциональность, скорее всего, перестанет работать в рамках iOS-устройств, так как новая логика работы IDFA, по сути, отбирает у Facebook возможность качественно сегментировать аудиторию на тестовую и контрольную группы, а затем отслеживать действия этих пользователей в вашем мобильном приложении.
Кастомные тесты на инкрементальность
Встроенные в рекламные сети инкрементальные тесты сильно упрощают работу маркетологам, но такие инструменты оценки эффективности рекламы есть далеко не везде. Это повышает сложность процесса определения реальной эффективности каналов.
В примере выше Facebook выполнял всю работу за вас: определял размер тестовых групп, время проведения эксперимента, статистическую значимость результатов. Но что самое важное — Facebook обеспечивал качество теста в рамках рекламного канала.
В рамках других рекламных каналов функциональности инкрементальных тестов может не быть. В такой ситуации вам нужно будет самостоятельно имитировать инкрементальный тест, а для этого нужно хорошо понимать основные принципы A/B-тестирования.
Скорее всего, у вас не получится провести идеальный эксперимент, так как вы не контролируете целиком сам рекламный канал, но вы все же можете попробовать максимально приблизиться к нужным условиям.
Основные принципы проведения инкрементальных A/B-тестов в рекламных каналах
Перед тем как перейти к обсуждению дизайна экспериментов в рекламных каналах, давайте вспомним основные аспекты проведения A/B-тестов.
При дизайне и проведении A/B-тестов важно соблюдать определенный набор рекомендаций (более детально про А/B-тесты можно прочитать несколько материалов здесь):
— Для этого в рамках предположения идентичности групп рассчитывают вероятность получить наблюдаемую в эксперименте или большую разницу между группами. Такое значение называют p-value.
— Если p-value меньше порогового значения (обычно 5%), то изначальное предположение об идентичности тестовой и контрольной группы отвергается. В этом случае можно с высокой степенью уверенности утверждать, что наблюдаемая разница между группами статистически значима (связана с тестируемым изменением, а не случайностью).
— Если p-value больше порогового значения, то тестируемые версии на основе собранных данных неразличимы. При этом в реальности между ними как может быть различие, которое мы просто не выявили, так его может и не быть. Мы не знаем.
Когда вы тестируете продуктовую фичу, у вас есть возможность изолировать контрольную группу. Такую же возможность дают встроенные инструменты инкрементального тестирования в рекламных сетях.
Но достигнуть чистоты эксперимента в рамках самостоятельного дизайна инкрементального теста достаточно сложно или даже невозможно. Тем не менее, проводить такие исследования все равно будет полезно.
Примеры кастомных инкрементальных тестов
Инкрементальные тесты, где есть возможность разделить аудиторию на тестовую и контрольную группу
Понимая основные принципы A/B-тестирования, вы можете спроектировать инкрементальные тесты, используя доступные инструменты рекламной сети.
Для этого вам нужно будет выделить тестовую и контрольную группу, запустить на них разные рекламные кампании. Ваша задача — в рамках ограниченных возможностей задизайнить эксперимент так, чтобы было очевидно какие продажи инкрементальные, а какие — нет.
Как это выглядит на примере рекламы в Facebook
Через функциональность A/B-testing (обратите внимание, что это другой инструмент — не Conversion Lift, которые мы обсуждали ранее):
При использовании этого метода не стоит вмешиваться в ход эксперимента. Если тестирование будет проводиться с произвольным включением и отключением адсетов, либо внесением других изменений, это может привести к искажению результатов.
Может показаться, что функциональность A/B-тестов и Conversion Lift — это одно и то же, но это не так.
A/B-тесты нацелены на тестирование параметров кампаний или адсетов (гео, возраст, текст и так далее) в случае, когда вы хотите быстро понять, какой параметр работает лучше. При этом и тестовая, и контрольная группа видит рекламу, а результаты оцениваются через стандартную модель атрибуции.
Conversion Lift работает на основе классических A/B-тестов, где части аудитории показывается реклама, а части — нет. Этот подход позволяет измерять причинно-следственную связь, первый — нет (подробнее о различиях этих инструментов читайте здесь).
Через Audiences — использование кастомных аудиторий на основании просмотра видео:
— Audiences – video_valid
— Audiences – video_non_valid
Для правильного проведения A/B-теста меняться должно только одно условие или объект тестирования, поэтому остальные настройки таргетинга должны быть одинаковыми во всех кампаниях или адсетах. Также для чистоты эксперимента у кампаний или групп должен быть равноценный бюджет и одинаковый срок действия.
Недостатком метода использования кастомных аудиторий может быть то, что вам будет сложно набрать нужный объем данных для выводов, так как оптимизатор рекламной сети будет отдавать преимущество адсету с целевым креативом. Для решения этой проблемы и равномерного распределения бюджета между двумя адсетами нужно отключить CBO (Campaign Budget Optimization) в настройках кампании, и тогда у целевого и нецелевого креативов будут равноценные бюджет и охват.
Визуально это выглядит так (1 — тестовая группа, 2 — контрольная группа):
Если в результате такого теста вы увидите конверсии в контрольной группе, где их быть не должно, то вы быстро поймете, что это как раз и есть индикатор неинкрементальных продаж, которые также будут и в тестовой группе.
С помощью такого дизайна мы максимально приблизились к методу работы Conversion Lift. Для формирования контрольной группы нам придется запустить рекламу, не связанную с нашим продуктом, что приведет к дополнительным расходам, которые уйдут на нецелевой креатив. Но именно так мы можем понять реальную инкрементальность рекламной кампании и на основе этой информации скорректировать модель атрибуции.
Важно помнить, что подобного рода эксперименты не дают точности в 100%, поэтому полученные результаты стоит проверить на практике через внесение изменений в ваши модели атрибуции и стратегию управления маркетинг-миксом. Если результаты близки к реальным, ваши действия должны приводить росту целевых метрик. В противном случае, нужно пересмотреть дизайн эксперимента и провести его повторно.
Подобный дизайн может использоваться и других рекламных сетях в интернете.
Региональные тесты и инкрементальность
Для рекламы в офлайне (ТВ, радио, наружная реклама) подойдет метод выделения тестовой и контрольной групп на основе регионов. Для интернета это решение тоже подходит.
Вам нужно подобрать два региона, максимально похожих по поведению целевой аудитории и целевой метрики. А затем в одном из них запустить рекламу, а в другом — нет. И сравнить результаты.
По сути, это тот же A/B-тест, но только со своей спецификой формирования тестовой и контрольной групп. Из плюсов этого подхода — вы платите только за результат, так как контрольной группе не показывается реклама.
Включение и выключение рекламы для оценки инкрементальности
Одним из видов инкрементального тестирования может быть включение и выключение рекламного канала. Такой подход хорошо работает с триггерной рекламой, где нет остаточного эффекта (хвоста целевых действий).
Одним из примеров такого подхода инкрементального тестирования является оценка эффективности покупки контекста на свой бренд.
Практически каждый продукт закупает контекстную рекламу на свой бренд. Обычно это делают из-за того, что по брендовым запросам любят крутиться конкуренты. Иногда же это делают веб-мастера (если у вас есть партнерская программа), перепродавая вам вашу же органику.
ROI таких кампаний при классическом расчете юнит-экономики очень хороший — по брендовым запросам приходит самый целевой трафик. Но если принимать решения на основе этих цифр, то велик шанс потерять деньги.
Вполне возможно, что вы просто платите за тех, кто пришел бы и так, перейдя по первой ссылке в органическом поиск. Или все же конкурент мог бы купить рекламу и перехватить их с помощью рекламного размещения?
Это можно проверить с помощью «шахматки». Принцип метода очень прост: в один день вы включаете рекламу на свой бренд, а в другой день — нет. И потом считаете разницу между целевыми действиями дней без рекламы и дней с рекламой. Более детально мы описали применение этого метода в этом материале.
Поэтапный запуск рекламных каналов с отслеживанием меняющейся эффективности
Бывают ситуации, когда сложно понять инкрементальность каждого рекламного канала. Эта проблема особенно актуальна, если у вас большой маркетинг-микс.
В таких условиях можно применить метод полного отключения всех рекламных каналов с целью получить baseline органических продаж. После получения baseline органики медленно и последовательно запускайте каждый рекламный канал и смотрите на дельту.
Визуально такой процесс должен выглядеть как слоеный пирог, где постепенно добавляются новые каналы.
В качестве альтернативы такому методу вы можете провести тест на прирост. Аномально масштабировать бюджеты на какой-то отдельный канал, чтобы понять его «потолок» и увидеть сопутствующие эффекты на другие каналы.
Из примера ниже можно увидеть, что мы аномально масштабировали расходы и, как следствие, результат канала “FB_ads”. В результате мы увидели его влияние на другие каналы. В итоге совокупная инкрементальность канала составила 85 000 вместо атрибутированных 50 000.
Недостаток такого подхода — его дороговизна. В ситуациях, когда другие каналы уже достаточно крупные, для того, чтобы увидеть эффект, нужно потратить достаточно много денег.
Это не все существующие способы инкрементального тестирования. У каждого канала или набора каналов и продукта есть своя специфика, поэтому комбинация подходов к оценке инкрементальности всегда будет разной. Но если вы поняли основную идею, то вы сможете подобрать оптимальный вариант под свою ситуацию.
Шаг 3. Убедитесь, что вся система оценки эффективности рекламных каналов работает правильно. Понимание инкрементальности одного канала не решает проблему
Практически каждая команда маркетинга работает с множеством рекламных каналов. Эти каналы обычно связаны между собой, так как аудитория в них пересекается.
Визуально пересечение каналов может выглядеть так:
С одной стороны, пересечение каналов — это даже хорошо. Вы повышаете количество касаний пользователя с вашим брендом, что увеличивает вероятность конверсии (создается синергия каналов).
С другой стороны, пересечение каналов сильно усложняет оценку их эффективности, особенно если у вас нет отлаженной единой модели атрибуции. Например, вы используете разные модели атрибуции, которые не связаны между собой (локальные модели и модели встроенные в рекламные каналы, либо сторонние трекеры вроде AppsFlyer).
Практический пример, где понимания инкрементальности одного канала недостаточно
Давайте рассмотрим пример, где у вас возникли сомнения по поводу инкрементальности рекламы на Facebook.
Вы провели инкрементальный тест и выяснили, что лишь часть из атрибутированных продаж инкрементальна. Визуально это выглядит так:
После проведения инкрементального теста вы скорректировали внутреннюю модель атрибуции Facebook и она стала работать точнее.
Но остался вопрос — а кому атрибутировать неинкрементальные продажи Facebook (желтая область на рисунке)? Может быть, какой-то из каналов мы недооценили? Может быть, одно целевое действие было атрибутировано нескольким каналам одновременно и увеличивает Overlap?
Отсутствие ответов на эти вопросы может порождать ошибки в управлении каналами роста. О последствиях — подробнее в этом материале.
Чтобы избежать такого сценария, нужно изучать инкрементальность каждого канала отдельно, а затем на основе полученных знаний оптимизировать все модели атрибуции, которые должны работать как единая система.
Важность отслеживания Overlap при изучении инкрементальности в рамках микса каналов
В ходе оптимизации моделей атрибуции на основе полученных данных об инкрементальности стоит уделить отдельное внимание динамике Overlap. Важно отслеживать, как меняется этот показатель по мере внесения различных изменений — как в модели атрибуции, так и на уровне работы с каналами роста.
Если overlap превышает 10–15%, у вас явная проблема с инкрементальностью. Нужно искать причины и пути уменьшения этого показателя.
Давайте рассмотрим простой пример.
Это говорит о том, что, скорее всего, ваши модели атрибуции в комбинации работают не совсем корректно: одни и те же конверсии атрибутируются разным каналам. Это приводит к тому, что эффективность каждого канала в отдельности выглядит лучше, чем есть на самом деле. Вы переплачиваете за рекламу.
Чтобы понять, где именно находится проблема, надо изучить инкрементальность каждого канала по отдельности. Затем внести корректировки в модели атрибуции и наблюдать в динамике за показателем Overlap и фактическим доходом (важно, чтобы он не упал).
Если вы правильно оптимизировали работу всей системы, Overlap начнет уменьшаться, а фактические продажи при этом существенно не изменятся.
В нашем примере инкрементальность купонного трафика и “G_ads” была ниже, чем показатели моделей атрибуции. После оптимизации Overlap вернулся в норму, а фактические продажи не сильно изменились.
Из примера видно, что нужно не только следить за качеством работы моделей атрибуции, проверять их через инкрементальное тестирование, корректировать логику их работы при необходимости.
Нужно также следить и за работой всей системы оценки эффективности рекламных каналов на верхнем уровне. При необходимости калибровать всю систему в зависимости от изменений ряда динамических параметров — каналов, внешних факторов, продукта, маркетинг-микса, бизнес-задач и так далее.
Шаг 4. Дополнить модель атрибуции на основе результатов тестов
Влияние изучения инкрементальности на модель атрибуции на примере Facebook
Давайте на примере разберем процесс оптимизации модели атрибуции на основе результатов инкрементальных тестов.
Вы запустили стартап, продающий кофе по подписке, и начали привлекать целевых пользователей через Facebook.
Команда приняла решение использовать внутреннюю модель атрибуции Facebook (Click с окном атрибуции в неделю, Post View с окном атрибуции в один день), так как система больше знает о своих клиентах.
Перед запуском рекламы команда приняла решение дополнительно запустить инкрементальный тест канала с помощью встроенного инструмента Facebook — Conversion Lift. По сути, это аналог A/B-теста на уровне рекламного канала.
Реклама стартовала, команде удалось «нащупать» рабочие кампании и начать привлекать клиентов с положительным ROI — на основе внутренней модели атрибуции Facebook.
На этом этапе для продукта работал лишь один канал привлечения. На основе внутренней модели атрибуции Facebook он окупался (то есть ROI > 0). И это даже без учета органики, которая появилась в момент старта кампании, и, скорее всего, являлась ее следствием.
Через некоторое время команда решила проверить результаты теста на инкрементальность:
Результат статистически значим.
Что это значит простыми словами? Facebook определил влияние своей рекламы на целевые действия в продукте и рассчитал инкрементальные продажи. Они равны разнице между результатами тестовой и контрольной группы (1000 – 200 = 800).
Команда пересчитала экономику и скорректировала свои дальнейшие действия. Модель атрибуции Facebook дополнилась пониманием инкрементальности этого канала. Теперь полученные результаты умножались на 0.8.
После того, как была оптимизирована модель атрибуции, были проведены дополнительные исследования (интервью с пользователями, анализ данных), чтобы понять, какому каналу атрибутировать целевые действия, которые приписывал себе Facebook в рамках базовой модели атрибуции. Оказалось что у проекта сильная виральность в результате сарафанного радио (люди рассказывают друг другу о сервисе).
На основе этой информации команда решила усилить этот эффект и запустила реферальную программу для пользователей.
Рекомендации по использованию инкрементального тестирования рекламных каналов
Мы детально разобрались в том, что такое инкрементальность — это истинная ценность рекламного канала для вашего бизнеса, которая выражается в понимании причинно-следственной связи между рекламой в канале и целевыми действиями в продукте.
Модель атрибуции тоже призвана оценивать эффективность канала или кампании, но она выступает в роли компаса, а не системы точных координат. Зато делает это быстро и дешево. Именно поэтому модель атрибуции надо регулярно подстраивать на основе результатов инкрементальных тестов.
Инкрементальность канала определяется через инкрементальные тесты, аналог A/B-тестов в мире продукта. Иногда инкрементальные тесты можно делать с помощью встроенных в рекламный канал инструментов, но иногда придется дизайнить их самостоятельно.
Инкрементальные тесты требуют много времени и стоят дорого. Поэтому проводить их стоит в каналах или в ситуациях, где проявляется проблема инкрементальности. Мы разобрали наиболее распространенные ситуации выше.
Понимание инкрементальности конкретного канала важно, но для эффективного управления маркетинг-миксом нужно понимать, как взаимосвязана инкрементальность разных каналов. Для этого нужно изучать инкрементальность каналов по отдельности, а на основе выработанного понимания устройства системы вносить изменения во все части моделей атрибуции.
Ниже приведены рекомендации по выбору способов инкрементального тестирования разных рекламных каналов.
| Каналы | Методы атрибуции |
| Поисковая реклама по бренду | Шахматка, поэтапный запуск рекламных каналов с отслеживанием меняющейся добавочной ценности |
| ТВ, радио, наружная реклама | Региональные тесты |
| Facebook Ads, Google Ads | Встроенные инструменты, кастомные тесты с нецелевой рекламой и посадочной |
| Реклама у блогеров (YouTube, TikTok, Instagram) | Региональные тесты, поэтапный запуск рекламных каналов с отслеживанием меняющейся добавочной ценности |
Вы прочитали материал, подготовленный GoPractice и Захаром Сташевским, CMO Letyshops.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.
Оглавление цикла
Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.
Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.
Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.
Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.
Эссе и образовательные симуляторы про продакт-менеджмент, продуктовую аналитику, маркетинг и рост