Если я хочу защитить папку от сканирования роботами, которые соответствуют стандартам, я могу...
Я разрабатываю веб-приложение, которое включает в себя следующий запрос YQL: SELECT * FROM html...
Теперь у нас есть множество сайтов, все из которых используют базовую структуру регистрации ошибок...
Я хочу ограничить доступ сканера к своему приложению rails, работающему на Heroku. Это было бы...
У меня есть веб-сайт с хорошим RewriteRule в корне, который перенаправляет все запросы такого рода:...
У меня есть поддомен, который я использую для рекламы.Для показа рекламы установлен openx.Как я...
То, чего я надеюсь достичь, довольно просто. У меня есть папка для разработки в корне веб-сервера,...
Я создаю инструмент для веб-разработчиков, который будет «сканировать» HTML на их сайте. Для этого...
Для моего субдомена я хотел указать другой файл robots.txt.Я надеялся, что следующий код будет...
Я хочу разрешить сканирование файлов в: /directory/ но не сканирование файлов в:...
Мне нужна помощь. Я не уверен в заказе по запросу для mod_rewrite и robots.txt. Некоторые...
Я читал о сканировании в Интернете и получил список, полный соображений, однако есть одна проблема,...
Итак, у меня есть сервер разработки под управлением OpenSuse с apache.На этом сервере загружено...
Google Analytics автоматически отфильтровывает некоторый трафик ботов (например, от робота...
Bingbot будет каждый день по несколько часов попадать на мой сайт, а в остальное время будет очень...
Как использовать файл robots.txt для запроса https, отличный от того, который используется для...
У меня есть dev.example.com и www.example.com, размещенные на разных поддоменах. Я хочу, чтобы...
в настоящее время: у меня есть пул веб-сайта, который разработан в asp classic и vbscript с...
У меня есть сайт Google, и сегодня я обнаружил, что Google сгенерировал новый файл robots.txt:...
У меня есть проект, который находится в папке ниже основного домена, и у меня нет доступа к корню...
Простой вопрос.Я хочу добавить: Disallow */*details-print/ По сути, правила блокировки в виде...
Я создаю приложение, которое периодически сканирует сайт, и я хотел бы, чтобы оно соблюдало /...
Я использую Python с фреймворком django для веб-приложения.Я сделал запись urls.py для обслуживания...
Посмотрите robots.txt этого сайта: fr2.dk / robots.txt Содержание: User-Agent: Googlebot Disallow:...
Я создал веб-сайт с использованием WordPress, и в первый день он был полон фиктивного контента,...