Нейросети

Schema.org и llms.txt: что нужно сайту, чтобы его понимали нейросети

Разбираю три технические вещи, которые помогают нейросетям правильно понимать сайт: разметку Schema.org, файл llms.txt и правила для ИИ-роботов.

Человек открывает сайт и сразу понимает: это магазин котлов в Алматы, вот цены, вот телефон. Роботу приходится догадываться по тексту и вёрстке. Структурированные данные убирают догадки. Ниже то, что я внедряю на каждом сайте, который делаю или переношу, и что стоит проверить на вашем.

Сразу оговорю: ни один из этих инструментов не гарантирует, что ChatGPT или Алиса начнут советовать вашу компанию. Они решают более скромную, но обязательную задачу — чтобы роботы могли зайти на сайт и без ошибок понять, кто вы, где находитесь и что предлагаете. Без этого остальная работа по GEO теряет смысл.

Что такое Schema.org и JSON-LD

Schema.org — общий словарь, который поддерживают Google, Яндекс, Bing и другие системы. В нём описаны типы сущностей: организация, товар, услуга, статья, вопрос с ответом. JSON-LD — формат, в котором эту информацию добавляют на страницу. Это отдельный блок кода в HTML, посетитель его не видит, а роботы читают.

Для обычного поиска разметка даёт расширенные сниппеты: звёзды рейтинга, цены, хлебные крошки. Для нейросетей важнее другое — однозначность. Когда на странице прямо указано, что компания называется так-то, находится по такому адресу и оказывает такие услуги по таким ценам, модели не нужно вытаскивать это из маркетингового текста.

Для местной компании в разметку LocalBusiness обычно попадают название, адрес, телефон, часы работы, координаты, диапазон цен, ссылки на соцсети и карточки в картах через поле sameAs. Для страницы услуги — название услуги, краткое описание, территория обслуживания и цена «от». Всё это уже есть на сайте в виде текста, разметка просто дублирует это в машинном виде.

Какие типы разметки нужны малому бизнесу

ТипГде ставитьЧто описывает
OrganizationГлавнаяНазвание, логотип, контакты, соцсети
LocalBusinessГлавная, контактыАдрес, часы работы, координаты
ServiceСтраницы услугУслуга, область, цена «от»
ProductКарточки товаровЦена, наличие, характеристики
FAQPageСтраницы с FAQВопросы и ответы
BreadcrumbListВсе внутренниеПоложение страницы в структуре
ArticleСтатьи блогаАвтор, дата, заголовок
Минимальный набор, с которого я начинаю

LocalBusiness — подтип Organization, и у него есть более узкие варианты: Dentist, AutoRepair, Store и другие. Если подходящий подтип есть, лучше выбрать его. Для компании с несколькими филиалами каждый филиал описывается отдельно со своим адресом.

Про FAQPage есть важная деталь. Google с 2023 года показывает расширенные сниппеты с вопросами только для небольшого круга авторитетных сайтов, в основном государственных и медицинских. Поэтому для бизнеса эта разметка вряд ли даст красивую выдачу. Но она по-прежнему чётко описывает, какие вопросы и ответы есть на странице, и я её оставляю.

Что такое llms.txt и нужен ли он

llms.txt — текстовый файл в формате Markdown, который кладут в корень сайта: ваш-сайт/llms.txt. В нём коротко написано, что это за компания, и перечислены ссылки на главные страницы с пояснениями. Идея в том, чтобы дать языковой модели короткую карту сайта без меню, баннеров и скриптов.

Важно понимать статус этого файла. Это предложенная сообществом договорённость, а не стандарт. Google Search llms.txt не использует, и на позиции в поиске он не влияет. Какие ИИ-сервисы его читают и как часто, публично подтверждено слабо. Я добавляю его, потому что это дёшево и безвредно, а не потому что это гарантированно работает.

  • Заголовок с названием компании
  • Одно-два предложения: чем занимаетесь, где, для кого
  • Раздел «Услуги» со ссылками и краткими пояснениями
  • Раздел «Контакты» и, при необходимости, «Цены» и «Кейсы»

Файл стоит обновлять вместе с сайтом. Если в llms.txt остались старые услуги или битые ссылки, он скорее вредит, чем помогает. На проектах, где страницы собираются из базы, я генерирую llms.txt автоматически при каждой сборке, чтобы он не отставал.

robots.txt: кого пускать на сайт

Самая аккуратная разметка бесполезна, если робот не может зайти на сайт. У ИИ-компаний несколько роботов с разными задачами, и их можно настраивать по отдельности.

РоботКомпанияНазначение
OAI-SearchBotOpenAIПоиск в ChatGPT
GPTBotOpenAIДанные для обучения
ChatGPT-UserOpenAIПереход по запросу пользователя
PerplexityBotPerplexityПоиск и ответы
Google-ExtendedGoogleИспользование в моделях Gemini

Для бизнеса, которому нужны клиенты, я обычно рекомендую разрешить поисковых роботов ИИ-сервисов. Запрещать ли обучение — решение владельца: на видимость в поиске ChatGPT запрет GPTBot напрямую не влияет. Google-Extended не затрагивает обычный поиск Google и AI Overviews в нём.

Помимо robots.txt, проверьте защиту на уровне хостинга и CDN. У некоторых сервисов есть отдельные переключатели для блокировки ИИ-ботов, и они иногда включены по умолчанию. В таком случае robots.txt может разрешать всё, а робот всё равно получает ошибку 403. Владелец сайта об этом обычно не знает, пока специально не проверит логи сервера.

Как проверить, что всё работает

  1. Проверьте разметку

    Прогоните главную и пару страниц услуг через Rich Results Test от Google и валидатор Schema.org. Ошибок быть не должно, предупреждения разберите по одному.

  2. Откройте robots.txt

    Убедитесь, что нужные роботы не попали под Disallow, и что sitemap указан.

  3. Посмотрите на HTML

    Откройте исходный код страницы. Если основного текста там нет и он появляется только после загрузки скриптов, роботам будет сложно.

  4. Откройте llms.txt

    Файл должен открываться по прямой ссылке как обычный текст, а ссылки внутри — вести на живые страницы.

После проверки не ждите мгновенного эффекта. Роботам нужно время, чтобы заново обойти сайт, а нейросетям — чтобы начать опираться на обновлённые данные. Я делаю повторный замер видимости через 4–8 недель тем же набором вопросов, что и до работ.

Пример из практики

Когда я переносил сайт RollExpert (rollexpert.kz) с WordPress на Next.js, разметка и доступ для роботов были частью проекта с первого дня. Сайт получил JSON-LD для организации и страниц, hreflang для русской и казахской версий, llms.txt, настроенные 301-редиректы со старых адресов и Lighthouse 100. Позиции в поиске при переезде сохранились. Подробности есть в разделе кейсов.

Если ваш сайт на конструкторе, где нельзя нормально добавить JSON-LD или отредактировать robots.txt, это повод подумать о переезде на Next.js. На собственном коде такие вещи делаются за часы, а не упираются в ограничения платформы.

Если сайт уже на Next.js или другом собственном коде, разметку лучше генерировать из тех же данных, из которых строятся страницы. Тогда цена в карточке товара и цена в JSON-LD никогда не разойдутся, а новая услуга получит разметку автоматически. Ручные вставки на каждую страницу со временем устаревают и начинают противоречить тексту.

Частые вопросы

Разметка Schema.org сама поднимет сайт в поиске?

Нет, это не фактор, который напрямую двигает позиции. Она помогает поисковикам и нейросетям правильно понять страницу и даёт шанс на расширенный сниппет.

Обязателен ли llms.txt?

Нет. Это необязательная договорённость, Google Search её не использует. Я добавляю файл, потому что он почти ничего не стоит, но не рассчитываю на него как на главный инструмент.

Можно ли добавить разметку на Tilda?

Частично: JSON-LD можно вставить через HTML-блок. Но динамическая разметка для каталога или блога там делается сложно, и управлять robots.txt гибко не получится.

Стоит ли запрещать GPTBot?

Это решение про обучение моделей, а не про поиск. Если вам важно появляться в ответах ChatGPT, главное — не закрывать OAI-SearchBot.

Данат Калбанов, основатель SoloStudio

Делаю сайты на Next.js, ИИ-ботов и продвижение для бизнеса в Казахстане. Всё, о чём пишу, проверяю на своих проектах — их можно посмотреть в кейсах.

Обсудим ваш проект?

Отметьте, что нужно, и отправьте сообщение в пару кликов. В ответ пришлю идеи и примерную стоимость, даже если вы пока просто прицениваетесь.

Данат, SoloStudio на связи в Telegram и WhatsApp

Здравствуйте! С чем помочь? Отметьте всё, что подходит, и я подготовлю идеи и примерную стоимость.

Здравствуйте! Интересует: продвижение в нейросетях.

В Telegram текст скопируется, останется вставить

TelegramWhatsApp