Создайте robots.txt из путей, которые не нужно обходить роботам. Добавьте адрес карты сайта и проверьте область запретов.
Как пользоваться
Введите по одному пути с / в начале строки. При необходимости добавьте полный URL карты сайта. Сохраните robots.txt в корне сайта.
Пример
/drafts/ создаст правило для этого пути с User-agent: *. Проверьте, чтобы случайный / не запретил весь сайт.
Вопросы и ответы
Защищает ли файл данные и убирает индексацию?
Нет. Для приватности нужна авторизация. Запрещённый URL может оставаться в поиске; robots.txt не заменяет noindex.
Связанные инструменты
Практическая задача
Сначала проверьте самый широкий путь. Косая черта закрывает весь сайт, префикс может затронуть много страниц. Испытайте опубликованный файл из настоящего корня сайта.
Дополнительный вопрос
Disallow заменяет вход в аккаунт?
Нет. Правило могут соблюдать роботы, но посетители и другие клиенты запросят путь. Доступ ограничивается приложением.
Настройки и форматы
| Поле | Значения |
|---|---|
| URL карты сайта | Начальное значение: https://example.com/sitemap.xml |
Детали для проверки результата
| Деталь | Пояснение |
|---|---|
| Обход и индексация | Обход означает получение ресурса, индексация включение сведений в поиск. Правило обхода не заменяет авторизацию. Адрес может быть известен по ссылкам, даже когда его содержимое не загружается. |
| Область правил robots | Правило пути может затронуть больше одного ожидаемого URL. До публикации проверьте окончания путей, префиксы и широкие запреты. Приватным данным нужен контроль доступа, а не обещание робота. |
| Назначение sitemap | Карта сайта предлагает список адресов для обнаружения. Она не исправляет недоступные страницы, не устраняет дубли и не гарантирует индексацию. Включайте версии, которые действительно нужны в поиске. |
| Сигналы canonical | Тег canonical указывает предпочтительный адрес среди близких страниц. Это сигнал, а не приказ. Внутренние ссылки, редиректы, карта сайта и само содержание должны согласованно указывать нужный URL. |
| Части URL | URL содержит схему, домен, путь, запрос и фрагмент. Разделители этих частей отличаются от знаков внутри значения. Кодируйте нужный компонент, а не меняйте полный адрес вслепую. |
| Значения запроса | Разделители запроса связывают имена параметров и значения. Амперсанд внутри значения нельзя путать с границей параметров. Перед публикацией соберите адрес с правильным кодированием частей. |
| Фрагменты URL | Фрагмент указывает место внутри ресурса и обычно не отправляется серверу. Это не параметр запроса. Его изменение не обязательно создаёт другой документ для выбора канонического адреса. |
| Структурированные данные | Разметка описывает сущности и факты в машиночитаемом виде и должна соответствовать видимой странице. Корректный JSON не доказывает право на поисковую функцию и не обещает особый вид выдачи. |