# Holdout-группа: зачем намеренно не отправлять письма части базы > Без контрольной группы вы не знаете, сколько денег приносит CRM на самом деле. Разбираем, как настроить holdout и перестать приписывать себе чужую выручку. **Рубрика:** Статьи **Дата:** 2026-06-17 Каждый месяц CRM-отдел приносит отчет: триггеры дали 12 миллионов, рассылки — еще 8. Цифры красивые, презентация убедительная. Только вот вопрос на засыпку: а сколько из этих 20 миллионов клиенты принесли бы и без единого письма? Большинство команд честно ответить не могут. Они складывают всю выручку с промокодом или переходом из письма и записывают ее себе в актив. Проблема в том, что часть этих людей купила бы в любом случае. Они уже шли к корзине, а письмо просто попалось под руку. И пока вы не отделяете «купил благодаря коммуникации» от «купил бы и так», вы оцениваете не эффективность CRM, а собственный оптимизм. Как это разделить, объясняет Егор Череватенко, CRM-маркетолог ClientCore. ## Holdout-группа: что это и почему без нее цифры врут Holdout-группа (она же контрольная группа в рассылках) — это часть вашей базы, которой вы сознательно НЕ отправляете коммуникацию. Ни триггеры, ни промо, ни реактивацию. Тишина. А потом сравниваете: сколько денег принесли те, кому писали, и сколько — те, кому не писали. Разница между этими двумя цифрами и есть реальный вклад CRM. Не вся выручка с письмами, а именно прирост поверх того, что люди сделали бы сами. Это называется инкрементальной выручкой, и обычно она оказывается заметно меньше, чем «выручка по атрибуции». Иногда — в разы. Логика простая. Если группа без писем принесла 100 рублей с человека, а группа с письмами — 115, то ваш вклад это 15 рублей, а не 115. Все остальное клиенты сгенерировали бы и без вас. Звучит обидно, но именно с этой цифрой можно идти к финдиректору и не краснеть. > Был кейс: клиент гордился welcome-цепочкой, конверсия 9%. Поставили holdout — оказалось, что у тех, кому цепочку не слали, конверсия 7,5%. То есть реальный эффект цепочки — полтора процентных пункта, а не девять. Это все равно деньги, но картина мира у команды поменялась радикально. > > — Егор Череватенко, CRM-маркетолог, ClientCore ## Чем holdout отличается от обычного A/B-теста A/B-тест отвечает на вопрос «какое письмо лучше» — этот заголовок или тот, скидка 10% или подарок. Обе группы получают коммуникацию, вы сравниваете варианты между собой. Holdout отвечает на другой вопрос: «а нужна ли коммуникация вообще». Одна группа получает письмо, вторая — ничего. Это разные инструменты под разные задачи. A/B оптимизирует то, что вы уже делаете. Holdout проверяет, стоит ли это делать в принципе. Бывает, что после холдаута выясняется: реактивационная цепочка, на которую тратится куча сил, дает прирост в районе статистической погрешности. И тогда логичнее эти ресурсы перебросить туда, где эффект реальный. **Норма** - holdout проверяет ценность самого канала или сценария - A/B-тест оптимизирует контент и механику внутри сценария - инструменты используются параллельно, а не вместо друг друга **Red flag** - считать holdout «еще одним A/B-тестом» и сравнивать его с вариантом письма - запускать holdout без гипотезы — просто «отключим кому-то рассылки и посмотрим» - путать инкрементальную выручку с выручкой по последнему клику ## Как настроить holdout-группу: размер, отбор, длительность Первое — размер. Тут многие ошибаются в обе стороны. Берешь слишком маленькую группу — результат утонет в шуме, и вы ничего не докажете. Берешь 50% базы — теряешь половину потенциальной выручки на время теста. Для большинства задач разумный диапазон — 5–15% базы под holdout. Чем меньше эффект вы ловите и чем меньше у вас трафик, тем больше нужна выборка. Второе — отбор должен быть случайным. Не «возьмем неактивных», не «возьмем регион поменьше». Случайный сплит по всей базе или по нужному сегменту. Иначе вы сравниваете не яблоки с яблоками, а яблоки с теми, кто и так бы не купил. В Mindbox для этого есть встроенный механизм контрольных групп — система сама делит аудиторию случайно и держит ее стабильной. Третье — длительность. Holdout должен прожить хотя бы один полный цикл покупки вашего продукта. Если люди покупают раз в квартал, недельный тест ничего не покажет. Для FMCG-логики хватит 4–6 недель, для товаров с длинным циклом — два-три месяца. И важно: состав группы нельзя тасовать в процессе, иначе данные превратятся в кашу. > Самая частая беда — группу собирают из спящих клиентов, потому что "их не жалко". А потом удивляются, что контрольная группа купила на копейки. Конечно купила на копейки, вы туда сложили тех, кто и так ушел. Сплит должен быть случайным, точка. Один раз настроили правильно — и три года получаете честные цифры. > > — Егор Череватенко, CRM-маркетолог, ClientCore ## Глобальный holdout vs. локальный: два уровня честности Локальный holdout проверяет один конкретный сценарий. Запустили новую брошенную корзину — отвели 10% тех, кто бросил корзину, в контрольную группу, не пишем им, смотрим разницу. Удобно, быстро, отвечает на узкий вопрос «работает ли эта механика». Глобальный holdout — другой масштаб. Это 5–10% всей базы, которым вообще не уходит ни одна маркетинговая коммуникация. Долго, иногда полгода и больше. Зато он отвечает на главный вопрос для руководства: сколько в принципе приносит весь CRM-канал, а не отдельный триггер. Без глобального холдаута любой разговор про ROI отдела строится на песке. На практике зрелые команды держат оба. Глобальный — постоянно, как фоновый замер общего вклада. Локальные — точечно, под каждую новую гипотезу. Это дает двойную оптику: видишь и общую картину, и эффект конкретных доработок. **Норма** - глобальный holdout живет постоянно и меряет вклад всего канала - локальные holdout запускаются под каждый новый значимый сценарий - размеры подобраны так, чтобы поймать ожидаемый эффект, а не наугад **Red flag** - единственная метрика успеха — «выручка с письмами» без контрольной группы - holdout запускают раз в год «для галочки» и тут же забывают - по итогам теста ничего не меняется в стратегии ## Что делать с результатами и где обычно ошибаются Получили цифры — дальше начинается самое интересное. Считаете инкрементальную выручку на одного человека: средний чек × частоту в группе с письмами минус то же самое в контрольной. Умножаете на размер всей базы. Получаете реальный вклад сценария в деньгах. Эту цифру уже можно класть в P&L отдела. Дальше — проверка на значимость. Разница в 1,5% между группами может быть случайной флуктуацией, а может быть настоящим эффектом. Если выборка маленькая, а разница небольшая, не спешите праздновать — прогоните через тест на статистическую значимость. Иначе рискуете построить стратегию на шуме и потом не понять, почему «доказанный» эффект не воспроизводится. И главное — выводы должны влиять на решения. Холдаут показал, что цепочка дает мизер? Переписывайте ее или отключайте, а ресурсы — туда, где прирост реальный. Показал, что триггер приносит 200 рублей с человека сверх базы? Масштабируйте, добавляйте сегменты, докручивайте. Холдаут без последующих действий — это просто дорогой способ потешить любопытство. > У одного клиента holdout вскрыл, что массовая еженедельная рассылка дает околонулевой инкремент, а вот персональные триггеры — мощный. Перестали долбить базу общими письмами, усилили триггеры. Через квартал общая CRM-выручка выросла на 18% при том, что писем стали отправлять меньше. Меньше шума — больше денег. > > — Егор Череватенко, CRM-маркетолог, ClientCore ## Когда holdout не нужен и где стоит быть осторожнее Честно: не каждая задача требует контрольной группы. Транзакционные письма — подтверждение заказа, чек, статус доставки — холдаутить бессмысленно и местами вредно. Это сервис, а не маркетинг, его эффект не в инкрементальной выручке, а в отсутствии звонков в поддержку и оттока от раздражения. Осторожнее стоит быть с длинными глобальными холдаутами на маленьких базах. Если у вас 8 тысяч активных клиентов, отрезать 10% в тишину на полгода — это заметная потеря контакта с живыми людьми. Тут лучше работать локальными короткими тестами или брать меньший процент, но мириться с тем, что точность будет ниже. Баланс между чистотой эксперимента и потерянной выручкой всегда есть, и его надо считать заранее, а не по факту. Отдельно — про этику тишины. Клиент в holdout не получает ваши акции и напоминания. Если у вас сезонный пик и вы отрезали группу как раз перед ним, вы реально лишаете людей выгодных предложений и теряете их лояльность. Планируйте холдауты так, чтобы не загонять контрольную группу в самый горячий момент без единого касания. --- [Открыть статью на сайте](https://blog.clientcore.ru/articles/holdout-gruppa-zachem-namerenno-ne-otpravlyat-pisma-chasti-bazy)