# robots.txt — 404ai.ru
# Разрешаем индексацию контента и классическим поисковикам, и AI-краулерам
# (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User,
# PerplexityBot, CCBot, Google-Extended, YandexAdditional и др.) — цель GEO.
#
# Отдельных групп для AI-ботов намеренно нет. По RFC 9309 робот выбирает самую
# конкретную группу и игнорирует «*»: группа «User-agent: GPTBot / Allow: /»
# отменяла для него все запреты ниже. Одна общая группа пускает всех и
# сохраняет запреты служебных путей для каждого.

User-agent: *
Allow: /

Disallow: /thank-you/
Disallow: /partials/
Disallow: /react/
Disallow: /scripts/

# Crawlers should not walk asset paths as if they were pages.
Disallow: /assets/vendor/

Sitemap: https://404ai.ru/sitemap.xml