Генератор robots.txt
Собирает файл robots.txt под вашу CMS: закрывает служебные страницы и указывает карту сайта.
Директиву Host Яндекс больше не использует — главное зеркало настраивается редиректом 301. После загрузки файла проверьте его в Яндекс Вебмастере → «Анализ robots.txt».
Как пользоваться
- Выберите CMS — подставятся типовые запреты для служебных страниц.
- Укажите ссылку на sitemap.xml и при необходимости добавьте свои пути.
- Скачайте robots.txt и загрузите его в корень сайта.
Хотите в ТОП‑10 Яндекса?
Платите только за дни, когда запрос в десятке. 3 000 ₽ бонусом на старт.
Начать продвижение