# dosuti.ru — правила обхода
# Приватное и техническое закрыто; публичные страницы открыты для всех,
# включая AI-краулеры (решение: максимальная видимость в AI-экосистеме).

User-agent: *
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /preview
Disallow: /publish
Disallow: /done
Disallow: /login
Disallow: /pay/
Disallow: /r/
Disallow: /p/
Disallow: /consent

# AI-краулеры: разрешены явно (те же ограничения на приватное)
User-agent: GPTBot
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

User-agent: OAI-SearchBot
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

User-agent: ChatGPT-User
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

User-agent: ClaudeBot
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

User-agent: Claude-Web
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

User-agent: Google-Extended
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

User-agent: PerplexityBot
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

User-agent: YandexGPT
Disallow: /api/
Disallow: /admin
Disallow: /dashboard
Disallow: /r/

# Content Signals (contentsignals.org)
Content-Signal: search=yes, ai-input=yes, ai-train=yes

Sitemap: https://dosuti.ru/sitemap.xml

# Карта корпуса для языковых моделей (llmstxt.org)
# https://dosuti.ru/llms.txt — опорные страницы и свежие статьи
# https://dosuti.ru/llms-full.txt — полный индекс блога с прямыми ответами