Google отображает мои изображения в Google-Image, но я не хочу показывать их в результатах. Вот мой...
Bigcommerce предоставляет следующую ссылку на карту сайта: https://example.com/xmlsitemap.php В...
Я видел здесь другие ответы, но они не очень полезны, поэтому я и спрашиваю.Я также попробовал...
Как запретить всем роботам индексировать / сканировать все HTML-страницы на моем сайте.Я не могу...
В рамках своих исследований по питону я пытаюсь просмотреть главную страницу mail.ru на новостных...
Я хочу интегрировать файлы Sitemap для моего проекта oscar, и я использовал пакет django-sitemaps Я...
Мой сайт сталкивается с проблемами покрытия в консоли поиска Google.Проверьте следующее сообщение...
В последнем отчете я вижу, что у нас много ссылок на robots.txt в путях подпапок. Вот несколько...
Я пытаюсь проиндексировать сайт в поисковой консоли Google, при проверке URL-адреса появляется...
Моя карта сайта выглядит следующим образом: «Исключен тегом« noindex »» - Нет: «noindex» обнаружен...
У меня есть приложение NodeJS / NextJS , работающее с http://www.schandillia.com. В проекте есть...
Вот мой код Пример шаблона URL www.example.com/folder/subfolder/* Хочу разрешить www.example
Каков наилучший способ защитить некоторые конфиденциальные файлы и каталоги от ботов и сканеров...
Я хочу определить robots.txt, как вы можете видеть ниже, чтобы заблокировать роботов с login url:...
Использование RobotFramework, Я пытаюсь получить метку Webelements с помощью цикла FOR. ${temp}=...
Попытка отправки команд с помощью моего файла test_ios_app.robot на iphone Уже запущен запуск...
Под "дружественным" я подразумеваю соображения за пределами robots.txt [1 , 2] и <meta> tag :...
У меня есть основной сайт: example.com, который содержит все файлы в своей корневой папке. У меня...
У меня есть 2 вопроса относительно гусеничных роботов. Справочная информация Я хочу, чтобы только...
Я хочу запретить все URL с определенным параметром запроса в формате массива. Например, у меня есть...
Это мой .htacces Options +FollowSymlinks RewriteEngine On RewriteCond %{REQUEST_FILENAME} !-f...
Для robots.txt, как мы разрешаем папку, но не определенные подпапки или страницы? Например, мой...
Я думаю, что я делаю все правильно, но Google, похоже, все еще попадает на эти страницы, как...
У меня есть сайт SPA, созданный с помощью ReactJS (версия 16.7.0), я хочу, чтобы Robot.txt и...
Один из файлов нашего веб-сайта robots.txt не обновляется, удаляет файлы .htaccess и robots.txt из...