У меня есть среда разработки под виртуальным хостом на сервере apache.Я бы заблокировал этот...
Применяется ли файл robots.txt только к папкам каталогов или может применяться к представлениям в...
http://wayback.archive.org/web/*/linksku.com Последний раз мой сайт был заархивирован в июле...
В Google Chrome 17 появилась новая функция , которая предварительно загружает веб-страницу для...
Я хочу написать мобильный сайт и не допустить его сканирования.Я запрещу все для Yahoo, Google и т....
Таким образом, я присоединяюсь к этому довольно раздражающему проекту, где клиент-клиент очень...
Я использую AnyOrigin для междоменных запросов, и я обнаружил, что на сайте nytimes.com есть файл...
Если у меня есть веб-служба / приложение в Tomcat, нужно ли мне беспокоиться о механизме, подобном...
У меня есть следующий файл .htaccess в моем корне: Options +FollowSymlinks RewriteEngine on...
Я использую очень простой файл robots.txt для нашего портала, который выглядит следующим образом:...
Я пытался получить ответ на этот вопрос на различных форумах Google, но никто не отвечает, поэтому...
Допустим, URL-адрес запрашивает robots.txt, как http://domain1.com/robots.txt , и я хочу, чтобы...
Я только что изменил настройки DNS, поэтому папка /forum теперь является поддоменом, а не...
Я хочу проанализировать файл robots.txt и извлечь ссылку на карту сайта.Предполагая, что файл...
Я хочу создать личный URL-адрес как http://domain.com/content.php?secret_token=XXXXX Тогда только...
Я использую консоль YQL и хочу вернуть результаты по этой ссылке в Google Shopping Используя...
Я бы хотел, чтобы Google игнорировал URL-адреса следующим образом: http://www.mydomain
Я бы хотел запретить роботам индексировать мой веб-сайт. Я создал файл robots.txt с таким...
Я просто хочу знать, нужен ли robots.txt на вашем веб-сайте, чтобы сканер проиндексировал страницы
Я хочу запретить поисковым системам сканировать весь мой сайт. У меня есть веб-приложение, которое...
У меня нет файла robots.txt в моей корневой папке, но я могу получить к нему доступ через example
У меня очень наивный вопрос, я не могу найти ответ.У меня есть WordPress блог.Все сообщения...
Я написал скрипт для проверки своих сайтов с помощью LWP :: RobotUA.Я хотел бы избежать частых...
У меня следующий формат URL: example.com/page/m6aoeh/embed Я хочу заблокировать ботов от индексации...
У меня есть robots.txt, как показано ниже, но Google все еще проиндексировал мой домен.В основном...