Кілька років SEO-шники та медіабаєри жили з думкою, що ChatGPT не має власної пошукової бази, а тягне дані з Microsoft і Google. Але детальний аналіз платформи Peec AI показав: це не так.
Якщо ваша стратегія оптимізації під AI-пошук зводиться лише до роботи з традиційними пошуковиками, ви втрачаєте значну частину трафіку.
Проєкт Labrador: не один індекс, а ціла родина
З витоків даних серверних подій ChatGPT (Server-Sent Events) відомо, що з травня по липень система передавала внутрішню мітку result_source. Крім звичних парсинг-сервісів на кшталт Bright та Oxylabs, там постійно світилася назва Labrador. Це власна пошукова інфраструктура OpenAI.
Labrador виявився не монолітною базою, а цілою родиною спеціалізованих вертикальних індексів. Серед них:
- загальний веб-пошук та PDF-документи;
- YouTube, новини (свіжі за добу, тиждень та архівні);
- arXiv, Wikipedia та локальні геодані;
- фінансові й юридичні документи, медичні ресурси, зображення;
- товарні каталоги для шопінгу.
Технічна структура індексу зберігає стандартні для ринку поля: повний контент сторінок, дати сканування та публікації. Google витратив два десятиліття на побудову подібних систем, OpenAI — реалізувала це в межах масштабного багаторічного плану.
Докази з судів та вакансій
Чутки про те, що OpenAI розробляє власну пошукову технологію, підтверджуються документами. На антимонопольному слуханні проти Google керівник ChatGPT Нік Терлі під присягою заявляв про суттєві проблеми з якістю даних від сторонніх API-партнерів. Оскільки домовитися про повноцінну інтеграцію з Google тоді не вдалося, компанія почала будувати альтернативу власними силами ще у 2023 році.
Офіційні вакансії OpenAI також розкривають масштаби технології:
- Позиція Software Engineer, Foundations Search прямо вимагає досвіду проєктування систем індексації та конвеєрів вилучення даних (retrieval pipelines).
- Команда Online Data Systems оперує стеком на багаторегіональному й мультиоблачному рівні в обсягах екзобайт, поєднуючи класичні лексичні алгоритми (на кшталт BM25) із векторним пошуком та щільними ембедингами.
Як працюють тести утиліти Shopping та кешування
Найкраще роботу власного індексу зараз видно на прикладі товарної вертикалі. У серверах фіксувалися A/B тестування на кшталт prefer-index-over-serp-v3, які спрямовували частину реального живого трафіку в обхід сторонніх видач напряму через продуктові бази OpenAI. Пошуковий стек використовує лексичне звуження вибірки, приблизний пошук найближчих сусідів (ANN) та багаторівневе ранжування.
Крім того, система активно використовує кешування сторінок замість постійного живого витягування (live fetching). Більшість сайтів завантажуються повільніше ніж за секунду, тому обробка запитів на мільйонних масштабах потребує попереднього збереження даних. Наприклад, експериментальні краулери сканують мільярди сторінок зі швидкістю десятки тисяч запитів на годину, заздалегідь обчислюючи векторні представлення.
Попри розбудову власних потужностей, ChatGPT не відмовився від зовнішніх джерел. Платформа комбінує власний індекс щонайменше з вісьмома провайдерами, серед яких залишаються сервіси на кшталт Yelp, TripAdvisor, а також пошукові технології Microsoft (зокрема Web IQ).
Що це означає для практики
Оптимізація виключно під класичні пошукові системи більше не гарантує успіху в генеративних інтерфейсах.
- Більше не можна вважати позиції в Bing або Google стовідсотковим джерелом видимості в ChatGPT. Перетин аудиторій та алгоритмів виявився набагато вужчим.
- Товарні позиції проходять через внутрішній індекс шопінгу, тому якість структурованих даних на сайтах інтернет-магазинів стає критичним фактором.
- Локальним бізнесам важливо контролювати свої профілі на партнерських агрегаторах (наприклад, Yelp і TripAdvisor), оскільки саме звідти чат-бот напряму бере верифіковані дані для геозапитів.
Інфраструктура AI-пошуку еволюціонує щотижня, змінюючи правила гри для власників контенту та маркетологів.
🖋 UAFF — будь в курсі арбітражних інсайтів