Отметьте, что есть на сайте, — получите текст robots.txt и скачайте готовый файл.
Что есть на сайте
Нужен, чтобы собрать полный адрес Sitemap.
Полный адрес с https://. Необязательно. Если указан «Адрес сайта», можно ввести только путь, например /sitemap.xml.
Результат (robots.txt)
Файл robots.txt управляет обходом сайта роботами, а не удалением страниц из поиска. Закрытая в robots.txt страница может остаться в выдаче без описания, если на неё ведут ссылки. Чтобы страница не попала в индекс, используйте метатег noindex или закройте доступ паролем. Не прячьте через robots.txt конфиденциальные данные: файл публичен.
Как это работает
- robots.txt — это рекомендации для поисковых роботов по обходу, а не защита. Добросовестные роботы им следуют, но закрытие доступа он не обеспечивает.
- Disallow запрещает роботу заходить на адреса с указанным началом. Disallow: /admin/ закрывает всё, что находится в папке /admin/.
- Clean-param — директива Яндекса: она сообщает роботу, что перечисленные параметры не влияют на содержимое страницы, и адреса с ними и без них считаются одной страницей. Google эту директиву не поддерживает и игнорирует: она может присутствовать в файле, но на него не влияет.
- Файл нужно разместить в корне домена: https://example.ru/robots.txt. Для поддомена нужен свой файл.
- После публикации проверьте файл в Яндекс Вебмастере и Google Search Console.
Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы обходить, а какие нет. Он нужен, чтобы не тратить обход на служебные страницы: админку, результаты внутреннего поиска, адреса с параметрами. Генератор собирает файл по нескольким отметкам: есть ли админка, есть ли поиск, нужно ли не учитывать UTM-метки, и добавляет адрес карты сайта Sitemap. Готовый текст можно скопировать или скачать.
Главное ограничение: robots.txt управляет обходом, а не индексом. Закрытая страница может остаться в выдаче, если на неё есть ссылки, а чтобы страница не попала в индекс, нужен метатег noindex или пароль. Файл публичен, поэтому он не защищает данные. С UTM-метками у Яндекса и Google разные механизмы. Яндекс понимает директиву Clean-param и объединяет адреса с метками и без них. Google эту директиву не поддерживает: он учитывает только User-agent, Allow, Disallow и Sitemap, поэтому для Google дубли из-за меток решают канонические адреса (rel="canonical"). Поэтому для Яндекса инструмент добавляет Clean-param, а запрет для остальных роботов (Disallow по utm_) — только по вашему желанию.
Прежде чем публиковать файл, проверьте его в Яндекс Вебмастере и Google Search Console: ошибка в одной строке может закрыть от обхода важный раздел. Файл не повышает позиции сам по себе, он помогает правильно распределить обход. Состояние robots.txt, sitemap.xml и других технических основ входит в чек-лист из статьи про SEO и продвижение сайта. Введённые данные остаются в вашем браузере.