При попытке сканирования моего сайта в Google Search Console я вижу следующую ошибку на каждой из...

Я хочу добавить X-Robots-Tag noindex, nofollow к ответу HTTP всех файлов .PDF сайта, чтобы избежать...

У меня есть 2 вопроса относительно гусеничных роботов. Справочная информация Я хочу, чтобы только...

У меня есть простой скрипт перенаправления php (link.php), который я использую для отслеживания...

В моем файле .htaccess я пытаюсь добавить тег x-robots nofollow к URL-адресу строки запроса,...

Я хотел бы проверить, не содержит ли список URL noindex.Поэтому я уже проверяю < meta...