{
  "applicability": {
    "conditions": [
      {
        "basis_refs": [
          {
            "entity_id": "ad73c17e-751c-552b-a366-134460d50dcd",
            "record_version": 1
          }
        ],
        "condition_id": "51603324-d07f-515e-9127-80348f86a977",
        "text": "Есть доступ к настройкам robots.txt и понимание назначения закрываемых URL."
      }
    ],
    "page_types": null,
    "site_types": null,
    "unknowns": [
      "Эффект для конкретного сайта не измерялся"
    ]
  },
  "claims": [
    {
      "claim_id": "ad73c17e-751c-552b-a366-134460d50dcd",
      "claim_type": "documented_behavior",
      "evidence": [
        {
          "document_revision_id": "609fb62c-fda1-5bec-abfd-a0d7886c7caa",
          "evidence_id": "9b044759-414c-5d00-becc-6e74c6e1e69a",
          "evidence_type": "official_document",
          "excerpt": "Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google.",
          "independence_group_id": "46a3a11c-15b7-5243-8e94-3bdd084e6c66",
          "limitations": [
            "Правила обхода и индексирование — разные механизмы.",
            "Нельзя переносить поведение Google на всех роботов."
          ],
          "locator": {
            "block_id": "block-0",
            "end": 343,
            "start": 234
          },
          "original_language": "ru",
          "source_url": "https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ru",
          "translated_excerpt": null,
          "translation_language": null
        }
      ],
      "language_scope": {
        "mode": "unknown",
        "values": []
      },
      "limitations": [
        "Правила обхода и индексирование — разные механизмы.",
        "Нельзя переносить поведение Google на всех роботов."
      ],
      "observed_period": null,
      "platform_scope": {
        "mode": "specified",
        "values": [
          "Google"
        ]
      },
      "record_version": 1,
      "region_scope": {
        "mode": "unknown",
        "values": []
      },
      "statement": "Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google.",
      "status": "active",
      "uncertainty": []
    }
  ],
  "conflicts": [],
  "evidence_assessment": {
    "category": "official_scope",
    "explanation": "Основание — документация Google в указанной области; это не измерение эффективности на конкретном сайте."
  },
  "instructions": [
    {
      "basis_refs": [
        {
          "entity_id": "ad73c17e-751c-552b-a366-134460d50dcd",
          "record_version": 1
        }
      ],
      "text": "Составьте список разделов и определите, какие из них действительно нужно ограничить для обхода."
    },
    {
      "basis_refs": [
        {
          "entity_id": "ad73c17e-751c-552b-a366-134460d50dcd",
          "record_version": 1
        }
      ],
      "text": "Для исключения страницы из поиска отдельно оцените noindex; для приватных данных используйте контроль доступа."
    },
    {
      "basis_refs": [
        {
          "entity_id": "ad73c17e-751c-552b-a366-134460d50dcd",
          "record_version": 1
        }
      ],
      "text": "Проверьте результат на конкретных URL и не считайте запрет обхода гарантией удаления из индекса."
    }
  ],
  "last_verified_at": "2026-10-08T19:47:22.475493+00:00",
  "limitations": [
    "Правила обхода и индексирование — разные механизмы.",
    "Нельзя переносить поведение Google на всех роботов."
  ],
  "method_id": "537602ad-81fb-551a-85ae-3cec180ad0be",
  "platform_scope": {
    "mode": "specified",
    "values": [
      "Google"
    ]
  },
  "prerequisites": null,
  "record_version": 1,
  "related_method_ids": [],
  "schema_version": "1.0",
  "slug": "robots-txt",
  "status": "active",
  "summary": "robots.txt задаёт правила доступа поискового робота к URL. Он полезен для управления обходом, но не заменяет управление индексированием и защиту конфиденциальных страниц. Перед запретом раздела стоит определить цель: уменьшить лишнее сканирование, убрать страницу из поиска или закрыть доступ к данным. Эти задачи требуют разных решений.",
  "title": "Управлять обходом через robots.txt",
  "topic_ids": [
    "technical-seo"
  ],
  "updated_at": "2026-10-08T19:47:22.475493+00:00"
}