Файл robots.txt — это текстовый файл, который находится в корневой директории вашего сайта (например, site.ru/robots.txt) и служит основным инструментом для управления поведением поисковых роботов . По сути, это набор инструкций для поисковых систем, указывающий, какие страницы и разделы сайта можно сканировать, а какие — нельзя.
Зачем нужен robots.txt?
1. Контроль индексации
Основная задача robots.txt — закрыть от индексации нежелательные страницы: технические разделы, административные панели, дублирующийся контент, страницы с сортировкой и фильтрацией, а также временные или тестовые страницы . Без этого файла поисковые роботы будут индексировать всё подряд, что может привести к попаданию в выдачу служебной информации и ухудшению качества индексации основных страниц.
2. Оптимизация cканирование (Crawling) бюджета
Для крупных сайтов robots.txt критически важен для управления краулинговым бюджетом — ресурсами, которые поисковые системы выделяют на сканирование вашего ресурса . Закрывая неважные разделы, вы направляете роботов к действительно ценным страницам, улучшая их обнаружение и индексацию.
3. Управление нагрузкой на сервер
Исключая сканирование ненужных страниц, вы снижаете нагрузку на сервер, что особенно важно для сайтов с большим количеством страниц или ограниченными хостинговыми ресурсами.
Как работает robots.txt?
Когда поисковый робот посещает сайт, он в первую очередь обращается к файлу robots.txt и читает его директивы.
Важно: Это не команда, а рекомендация. Googlebot и другие крупные поисковые роботы (Яндекс, Bing) следуют этим инструкциям, но некоторые боты могут их игнорировать . Для полной защиты конфиденциальной информации используйте парольную защиту, а для удаления страниц из поиска — метатег noindex.
Основные директивы robots.txt
- User-agent — указывает, для какого поискового робота предназначены правила (* — для всех).
- Disallow — закрывает от сканирования определенные страницы или директории.
- Allow — открывает доступ к конкретной странице внутри закрытой директории.
- Sitemap — указывает путь к XML-карте сайта, помогая роботам быстрее находить важные страницы.
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*sorting=
Allow: /public/
Sitemap: https://site.ru/sitemap.xml
Этот файл запрещает всем роботам индексировать админ-панель, корзину и страницы с сортировкой, но разрешает доступ к /public/ и указывает на карту сайта.
Практические рекомендации
- Размещайте файл правильно — только в корневой директории, имя строго robots.txt (строчными буквами).
- Тестируйте перед публикацией — используйте инструменты проверки в Google Search Console и Яндекс.Вебмастер.
- Избегайте критических ошибок — например, Disallow: / закроет весь сайт от индексации, что полностью остановит SEO-трафик.
- Проверяйте регистр символов — /Admin и /admin для роботов — разные пути.
- Учитывайте поддомены — для каждого поддомена нужен свой файл robots.txt.
Резюме
Правильная настройка robots.txt — обязательная часть технического SEO. Этот файл помогает контролировать индексацию, оптимизировать работу поисковых роботов и защищать сайт от появления в выдаче нежелательных страниц. Уделите ему внимание, чтобы избежать серьезных проблем с видимостью сайта в поиске.

