Информация no_robots_txt

Файл robots.txt не найден

На сайте отсутствует файл robots.txt, управляющий обходом поисковыми ботами.

Что это такое

robots.txt — стандартный файл, размещаемый в корне сайта, который сообщает поисковым ботам, какие URL можно посещать, а какие — нет. Его отсутствие не критично, но нежелательно.

Почему это плохо для SEO

Без robots.txt поисковики обходят весь сайт без ограничений, включая технические страницы, дубликаты и служебные разделы. Это расходует краулинговый бюджет.

Как исправить

Создайте файл /robots.txt в корне сайта. Укажите директивы Disallow для служебных разделов и добавьте ссылку на sitemap.

Пример

# robots.txt
User-agent: *
Disallow: /admin/
Disallow: /internal/

Sitemap: https://example.com/sitemap.xml

Есть эта ошибка на вашем сайте?

Запустите быстрый аудит — узнайте за 30 секунд, какие SEO-проблемы есть на вашем сайте.

Проверить сайт бесплатно →