120 миллионов чатов проанализировали исследователи, чтобы понять, почему показатели присутствия брендов в генеративных поисковых системах скачут без видимых причин.
Когда дашборд показывает падение или рост видимости бренда в AI-ответах за сутки, первая реакция маркетологов — искать сбои в кампаниях или активность конкурентов. Однако, как показывают данные платформы Peec AI, большинство таких колебаний — обычный случайный шум, присущий вероятностной природе больших языковых моделей.
Почему показатели видимости в AI постоянно колеблются
Работа LLM напоминает подбрасывание несбалансированной монеты. Каждый запуск конкретного промпта — это один бросок. Если запрос не брендированный, например, когда пользователь ищет лучшее решение в вертикали без упоминания конкретной компании, движок каждый раз заново формирует ответ из обучающих данных или результатов реального времени. В таких условиях вероятность появления бренда колеблется ближе к 50/50.
Одиночный промпт даёт высокую погрешность. Чтобы снизить уровень неопределённости до минимума, недостаточно бомбардировать модель одним и тем же запросом сотни раз в день. Увеличение количества запусков одного и того же запроса почти не влияет на точность общей картины. Ключевым фактором становится расширение пула уникальных запросов, которые охватывают реальный путь пользователя.
Как работает математика доверия к данным
Для оценки погрешности показателей используется классический статистический инструментарий, в частности интервал доверия Вальда:
- Объём выборки против частоты. Чтобы уменьшить погрешность измерения вдвое для конкретного запроса со средней видимостью, потребуется вчетверо больше прогонов.
- Брендированные против небрендированных запросов. Промпты, содержащие название бренда, демонстрируют чрезвычайно стабильные результаты. В то время как небрендированные запросы являются высококонкурентными, поэтому именно они формируют основную дисперсию.
- Временные рамки вместо ежедневного микроменеджмента. Суточные колебания видимости на несколько процентов часто являются следствием случайности выборки. Достоверные изменения становятся заметны только на недельных и месячных агрегированных данных.
Пять правил настройки дашбордов видимости
Анализ массива чатов позволил сформировать практический подход к мониторингу присутствия в генеративном поиске:
- Сегментируйте запросы. Никогда не смешивайте брендированные и общие небрендированные запросы в один общий показатель, так как они функционируют по абсолютно разным алгоритмам.
- Анализируйте портфель, а не отдельные фразы. Одиночный промпт слишком нестабилен и может дать ложное представление о позициях продукта из-за сбоя или случайного успеха.
- Увеличивайте количество промптов, а не частоту запусков. Охват большего количества разнообразных запросов даёт гораздо более точный сигнал о реальной видимости на рынке, чем многократный прогон одной фразы.
- Оценивайте динамику на дистанции. Фильтруйте шум, опираясь на месячные тренды, вместо того чтобы реагировать на ежедневные микроколебания графиков.
- Фиксируйте базовый набор запросов. Не меняйте конфигурацию трекера на ходу, если планируете корректно сравнивать показатели между отчётными периодами.
Сбор таких данных позволяет медиабаерам и продуктовым командам чётко понимать, когда позиции бренда действительно улучшаются благодаря оптимизации контента, а когда рынок просто реагирует на внутреннюю вариативность алгоритмов.
🖋 UAFF — будь в курсе арбитражных инсайтов