Несколько лет SEO-специалисты и медиабаеры жили с мыслью, что ChatGPT не имеет собственной поисковой базы, а тянет данные из Microsoft и Google. Но детальный анализ платформы Peec AI показал: это не так.
Если ваша стратегия оптимизации под AI-поиск сводится только к работе с традиционными поисковиками, вы теряете значительную часть трафика.
Проект Labrador: не один индекс, а целая семья
Из источников данных серверных событий ChatGPT (Server-Sent Events) известно, что с мая по июль система передавала внутреннюю метку result_source. Помимо привычных парсинг-сервисов вроде Bright и Oxylabs, там постоянно светилось название Labrador. Это собственная поисковая инфраструктура OpenAI.
Labrador оказался не монолитной базой, а целой семьёй специализированных вертикальных индексов. Среди них:
- общий веб-поиск и PDF-документы;
- YouTube, новости (свежие за сутки, неделю и архивные);
- arXiv, Wikipedia и локальные геоданные;
- финансовые и юридические документы, медицинские ресурсы, изображения;
- товарные каталоги для шопинга.
Техническая структура индекса сохраняет стандартные для рынка поля: полный контент страниц, даты сканирования и публикации. Google потратил два десятилетия на построение подобных систем, OpenAI — реализовала это в рамках масштабного многолетнего плана.
Доказательства из судов и вакансий
Слухи о том, что OpenAI разрабатывает собственную поисковую технологию, подтверждаются документами. На антимонопольном слушании против Google руководитель ChatGPT Ник Терли под присягой заявлял о существенных проблемах с качеством данных от сторонних API-партнёров. Поскольку договориться о полноценной интеграции с Google тогда не удалось, компания начала строить альтернативу собственными силами ещё в 2023 году.
Официальные вакансии OpenAI также раскрывают масштабы технологии:
- Позиция Software Engineer, Foundations Search прямо требует опыта проектирования систем индексации и конвейеров извлечения данных (retrieval pipelines).
- Команда Online Data Systems оперирует стеком на многорегиональном и мультиоблачном уровне в объёмах экзабайт, сочетая классические лексические алгоритмы (вроде BM25) с векторным поиском и плотными эмбеддингами.
Как работают тесты утилиты Shopping и кэширования
Лучше всего работу собственного индекса сейчас видно на примере товарной вертикали. В серверах фиксировались A/B тестирования вроде prefer-index-over-serp-v3, которые направляли часть реального живого трафика в обход сторонних выдач напрямую через продуктовые базы OpenAI. Поисковый стек использует лексическое сужение выборки, приблизительный поиск ближайших соседей (ANN) и многоуровневое ранжирование.
Кроме того, система активно использует кэширование страниц вместо постоянного живого извлечения (live fetching). Большинство сайтов загружаются медленнее чем за секунду, поэтому обработка запросов в миллионных масштабах требует предварительного сохранения данных. Например, экспериментальные краулеры сканируют миллиарды страниц со скоростью десятки тысяч запросов в час, заранее вычисляя векторные представления.
Несмотря на развитие собственных мощностей, ChatGPT не отказался от внешних источников. Платформа комбинирует собственный индекс как минимум с восемью провайдерами, среди которых остаются сервисы вроде Yelp, TripAdvisor, а также поисковые технологии Microsoft (в частности Web IQ).
Что это значит для практики
Оптимизация исключительно под классические поисковые системы больше не гарантирует успеха в генеративных интерфейсах.
- Больше нельзя считать позиции в Bing или Google стопроцентным источником видимости в ChatGPT. Пересечение аудиторий и алгоритмов оказалось гораздо уже.
- Товарные позиции проходят через внутренний индекс шопинга, поэтому качество структурированных данных на сайтах интернет-магазинов становится критическим фактором.
- Локальным бизнесам важно контролировать свои профили на партнёрских агрегаторах (например, Yelp и TripAdvisor), поскольку именно оттуда чат-бот напрямую берёт верифицированные данные для геозапросов.
Инфраструктура AI-поиска эволюционирует еженедельно, меняя правила игры для владельцев контента и маркетологов.
🖋 UAFF — будь в курсе арбитражных инсайтов