Robots.txt, вероятно, самый маленький файл на сайте, и при этом один из тех, что способны нанести самый серьёзный ущерб в случае ошибки. Всего одна неправильно написанная строка может привести к исчезновению всего сайта из результатов поиска в течение нескольких часов, обычно без каких-либо видимых предупреждений владельцу сайта до того, как трафик обрушится.
Что этот файл делает на самом деле
Robots.txt указывает поисковым роботам, какие части сайта они могут или не могут сканировать. Он обязательно должен находиться в корне домена, по адресу example.ru/robots.txt, иначе он просто не будет учитываться. Стоит прояснить часто неправильно понимаемый момент: robots.txt контролирует сканирование, а не индексацию. Страница, заблокированная в этом файле, всё же может появиться в результатах поиска, обычно без описания, если другие сайты ссылаются на неё. Для надёжного удаления страницы из результатов правильным инструментом остаётся тег noindex, размещённый непосредственно на странице, а не robots.txt.
Самая дорогая ошибка: случайная полная блокировка
Самый разрушительный сценарий — строка Disallow, за которой следует простой слэш, блокирующая сканирование всего сайта. Этот случай часто происходит при выводе сайта в продакшен, когда файл robots.txt, используемый в тестовой среде и намеренно ограничивающий индексацию, копируется как есть на реальный сайт без изменений. Совершив эту ошибку, недостаточно просто исправить файл, чтобы всё мгновенно вернулось в норму: страницы, уже исключённые из сканирования, могут оставаться видимыми, но в ухудшенном виде, в течение нескольких недель, пока Google заново не просканирует весь сайт.
Ловушка блокировки файлов CSS и JavaScript
Другая частая проблема, особенно на старых сайтах, — случайная блокировка доступа к папкам, содержащим таблицы стилей и скрипты. Сегодня Google анализирует страницу почти так же, как браузер, учитывая её реальное оформление. Если он не может загрузить CSS и JavaScript, он воспринимает страницу как плохо сформированную или сломанную, что может негативно повлиять на её оценку, даже если текстовое содержимое остаётся полностью доступным.
Новшество 2026 года: различие между поисковыми роботами и ИИ-краулерами
С ростом популярности диалоговых ассистентов веб теперь исследует новая категория роботов с целями, отличными от традиционных поисковых систем. Одни, такие как GPTBot или CCBot, собирают контент для обучения языковых моделей. Другие, например боты извлечения, используемые функциями поиска некоторых ассистентов, стремятся сослаться на конкретный источник в ответ на вопрос пользователя, что часто остаётся желательным для видимости сайта. Эти две категории различаются по имени user agent, и robots.txt позволяет разрешать или блокировать их независимо друг от друга, а не применять единое правило ко всем роботам через звёздочку. Стоит отметить: Google-Extended, питающий обучение моделей Gemini, — это отдельный бот от Googlebot, бота, используемого для классической индексации в поиске Google. Блокировка Google-Extended поэтому не влияет на позиции сайта в обычных результатах поиска.
Хорошие практики для надёжного файла
Безопасная структура заключается в том, чтобы сначала широко разрешить сканирование, а затем добавлять точные, именованные правила блокировки вместо расплывчатых подстановочных знаков, что ограничивает последствия синтаксической ошибки. Регистр символов важен в указанных путях: блокировка папки, написанной строчными буквами, автоматически не блокирует тот же адрес, написанный с заглавной буквы. Также рекомендуется всегда включать строку, указывающую расположение карты сайта, — простой, но часто забываемый шаг, — и держать файл лаконичным, зная, что основные поисковые системы обычно игнорируют файлы размером более нескольких сотен килобайт.
Проверка после каждого изменения
После любого изменения файла, особенно после вывода в продакшен, быстрая проверка его реального содержимого онлайн позволяет избежать обнаружения случайной блокировки через несколько дней после того, как она начала влиять на трафик. Search Console предлагает специальный инструмент для проверки того, заблокирован ли конкретный URL текущим файлом, что остаётся самым надёжным способом подтвердить, что правило даёт ожидаемый эффект.
Что стоит проверить перед публикацией: подтвердить, что различие между Googlebot и Google-Extended остаётся точным на момент публикации, и проверить, что упомянутые имена user agent для ИИ-краулеров (GPTBot, CCBot, Google-Extended) по-прежнему соответствуют действующим официальным обозначениям.