Коротко о методе
Для сайтов, которые хотят управлять тем, как Claude получает контент, нужно отдельно настраивать robots.txt для Claude-SearchBot и Claude-User. Claude-SearchBot связан с поисковой индексацией и может влиять на видимость в user search, а Claude-User относится к пользовательским запросам к Claude. Отключение любого из них не гарантирует исчезновение или появление в ответах; эффект описан как возможный.
Область применения
- Платформы
- Claude
- Типы сайтов
- Не установлено
- Сверено с источником
- 10.10.2026
Справочная схема применения
- Проверьте, допускает ли robots.txt Claude-SearchBot к нужным разделам сайта.
- Если нужно ограничить retrieval по запросам пользователей, настройте доступ для Claude-User отдельно от Claude-SearchBot.
- При запрете Claude-SearchBot учитывайте, что это может уменьшить видимость сайта в результатах поиска, но не гарантированно и не везде одинаково.
Что известно
4Claude-SearchBot обходит веб для улучшения качества поисковых результатов.
Ограничение Текст описывает поведение бота, а не гарантии индексации, цитирования или трафика.
Запрет Claude-SearchBot на сайте предотвращает индексирование контента системой для поисковой оптимизации.
Ограничение Источник прямо связывает запрет с индексированием, но не обещает конкретных позиций или кликов.
Claude-User позволяет владельцу сайта управлять доступом к контенту в ответ на запросы пользователей к Claude.
Ограничение Это относится к пользовательским запросам к Claude, а не к общему обходу или training-краулеру.
Отключение Claude-User может снизить видимость сайта в пользовательском веб-поиске.
Ограничение Формулировка вероятностная; эффект указан как возможное снижение видимости, а не как обязательный исход.
Ограничения и неизвестное
Источник описывает только ClaudeBot, Claude-User и Claude-SearchBot в рамках Anthropic.
Разрешение или запрет бота не гарантирует индексирование, цитирование или улучшение видимости.
Нельзя переносить выводы о ClaudeBot на Claude-SearchBot или Claude-User.
Для текущей даты источник не подтверждает причинный рост трафика или позиций.
Не показано, как именно Anthropic выбирает, цитирует или ранжирует страницы внутри ответов.
Не подтверждён измеримый эффект на клики, трафик или позицию.
Неясно, насколько быстро изменения robots.txt отражаются в поведении всех связанных систем.