Robots.txt недоступен

Если файл robots.txt недоступен в Search Console, значит, на сайте или сервере возникла ошибка, которую нужно исправить, чтобы сайт появился в поиске. В первую очередь рекомендуем проверить правила брандмауэра для сервера. Если обнаружите что-то непонятное в правилах блокировки, проверьте файлы конфигурации сервера. А если не знаете, как это сделать, обратитесь в службу поддержки хостинг-провайдера.