ИНСТРУМЕНТЫ SWEBE

Проверка robots.txt

Проверьте доступность robots.txt и наличие ссылки на карту сайта без запуска полного аудита.

Проверьте сайт целиком

SEO, скорость, безопасность и мобильная версия в одном отчёте.

Для чего нужен robots.txt

Файл robots.txt размещается в корне сайта и содержит инструкции для поисковых роботов об обходе адресов. Он помогает управлять посещением служебных разделов, параметров и других URL, которые не нужно регулярно сканировать. Это публичный файл, а не механизм защиты конфиденциальной информации: запрещённый в нём адрес остаётся доступным обычному посетителю, если сервер не ограничивает доступ отдельно. Перед настройкой определите, какие страницы должны участвовать в поиске и какие ограничения действительно нужны вашему сайту.

Что проверяет Swebe

Инструмент получает robots.txt через безопасное HTTP-соединение и показывает URL файла, код ответа, доступность и найденные директивы Sitemap. Если файл успешно получен и похож на robots.txt, его текст можно открыть в подробностях. Проверка не строит полный интерпретатор всех директив и не утверждает, что правила подходят каждому поисковому роботу. Она также не запускает Lighthouse и не обходит весь сайт. При большом файле отображается ограниченный фрагмент, о чём появляется отдельная пометка.

Какой ответ считается нормальным

Для существующего файла обычно ожидается HTTP 200 и текст с инструкциями для роботов. Если вместо него сервер отдаёт HTML-страницу ошибки или обычную главную страницу, наличие robots.txt не подтверждается. Ответ 404 означает отсутствие файла по проверенному адресу, но не делает весь сайт недоступным. Ответ 403, задержка или блокировка автоматического клиента требуют отдельной проверки: они не доказывают, что файл отсутствует для всех посетителей. HTTP и HTTPS, а также разные поддомены могут иметь собственные правила обхода.

Что проверить в содержимом

Обратите внимание на User-agent, Disallow и Allow, особенно после переноса сайта или изменения структуры. Не допускайте случайного запрета обхода важных страниц. Директива Sitemap должна содержать полный адрес актуальной XML-карты; Swebe показывает найденные адреса, но не подтверждает их содержимое в этом инструменте. Для проверки карты воспользуйтесь отдельной страницей Sitemap. Robots.txt управляет обходом, а не гарантированным исключением страницы из поискового индекса. После правок повторите проверку и используйте инструменты поисковых систем для исследования конкретных правил.

Когда повторять проверку

Проверяйте файл после смены домена, перехода на HTTPS и обновления системы управления сайтом. Генератор robots.txt или защитный фильтр может изменить ответ сервера. Сверяйте результат с опубликованной версией, а не только с сохранённым файлом в панели управления.

Другие инструменты Swebe