Ошибка в файле robots.txt продолжает накапливаться, даже если она исправлена - PullRequest
0 голосов
/ 17 января 2019

Кто-то испортил наш robots.txt, случайно добавив \n после всего нашего allow: /products/, что составляет около 30 000 страниц. Ошибки на нескольких языковых сайтах. Это одна из наших поисковых консолей.

Я быстро заметил ошибку и удалил ее. Я попросил Google проверить мое решение, но примерно через 3 месяца ошибки все еще увеличиваются Смотрите изображения ниже:

Screenshot of Search Console

Our robots.txt

Что я могу сделать, чтобы ускорить процесс? Я начал проверку.

1 Ответ

0 голосов
/ 17 января 2019

Ваш robots.txt недоступен. Он перенаправляется с 301 на https://www.unisgroup.nl/robots.txt/, который является каталогом, а не файлом - вы видите косую черту? Google ищет файл, не находит его и уходит.

...