не подпускайте веб-сканеров к вашему сайту

Question

Есть ли способ в веб-разработке, чтобы веб-сканеры не могли сканировать ваш сайт?

Answer 1

Убедитесь, что? Нет.

Вы можете вежливо спросить с помощью robots.txt (но их можно игнорировать), вы можете закрепить барьеры с помощью CAPTCHA (но они могут быть побеждены и наложить барьер для обычных пользователи), и вы можете отслеживать поведение каждого посетителя, ищущего шаблоны ботов (но боты могут использовать прокси-цикл и ограничение скорости).

Answer 2

Вы также можете запретить доступ на основе сканеров пользовательский агент , конечно, это предполагает, что сканер использует пользовательский агент, отличный от обычного браузера.

Answer 3

Вы можете разместить файл robots.txt со следующим содержимым в корне вашего сайта, что предотвратит его индексацию цивилизованными роботами:

User-agent: *
Disallow: /

Обратите внимание, что это победилоне помешают нецивилизованным роботам проиндексировать его.Единственный способ предотвратить их - использовать такие методы, как Captcha.

Конечно, предпочтительно использовать специальную машину для разработки, которая недоступна из Интернета, пока ваш сайт находится в стадии разработки.

Answer 4

Используйте файл robots.txt, чтобы разрешить или запретить / запретить роботам индексировать ваш сайт.