Поскольку трафик распределяется неравномерно в течение 24 часов, я хотел бы запретить сканерам в...

На моем сайте у меня есть каталог вещей, который генерируется с помощью вызовов jquery ajax,...

Я ищу лучшее решение, чтобы убедиться, что я делаю это правильно: На моем веб-сайте есть календарь,...

При использовании файла Robots.txt должна ли строка агента пользователя быть в точности такой, как...

Я думаю, что один из моих сайтов недавно был исключен из Google, потому что он нашел и начал...

Я управляю сайтом, который использует qdbs 1.10, чтобы предложить базу данных котировок на основе...

Если у меня есть эти строки в robots.txt: Disallow /folder/ Allow /folder/filename.php Будет ли...

У меня есть это приложение Rails с доменным именем abc.com.У меня также есть отдельный поддомен для...

По какой-то причине я хочу обслуживать свой robots.txt через скрипт PHP.Я настроил apache так,...

Веб-бот, просматривающий ваш сайт и использующий ресурсы. Ботов много и для многих целей, начиная...

Я хочу запретить пользователям доступ к моему файлу robots.txt, но я все еще хочу, чтобы поисковые...

У меня есть секретная папка на моем хостинге, которую посетители могут не видеть. Я добавил robots

У меня есть два доменных имени, которые ссылаются на один и тот же корень.Как я могу сделать так,...

My robots.txt в Google Webmaster Tools отображает следующие значения: User-agent: * Allow: / Что...

Есть ли какое-нибудь умное решение для хранения статических файлов в корневом каталоге приложения...

Я хочу исключить все подпапки с именем "ajax" в любой папке из индексации поисковыми системами....

Я имею дело с некоторыми клиентами, которые используют серверы Windows и поэтому не поддерживают...

Я бы хотел отказать веб-роботам в доступе по URL-адресу: http://www.example.com/export разрешить...

У меня есть сайт с ограниченным содержанием. Я хочу, чтобы мой сайт появлялся в результатах поиска,...

Есть идеи, как заблокировать пользователей Alexa Toolbar? Я не хочу появляться в рейтинге, пока мы...

Я управляю сайтом, который позволяет пользователям создавать субдомены.Я хотел бы отправить эти...

У меня есть www.domainname.com, origin.domainname.com, указывающее на ту же кодовую базу.Есть ли...

Мне нужно контролировать, какие URL разрешено индексировать.Для этого я хочу разрешить Google...

В файле robots.txt я собираюсь запретить некоторые разделы моего сайта. Например, я не хочу, чтобы...

Я использую Spring Framework, следующее - отображение URL на контроллер <bean...