Как остановить ботов от сканирования или индексации приложения Angular - PullRequest
Новая
       12

Как остановить ботов от сканирования или индексации приложения Angular

4 голосов
/ 28 октября 2019

Я хочу опубликовать приложение Angular для тестирования, но я хочу убедиться, что сайт не сканируется и не индексируется ботами.

Полагаю (может быть, далеко!) Я бы добавилмои <meta> теги просто на моей странице index.html, и для хорошей цели добавьте файл robots.txt в мой корень?

Это мои метатеги: 

<meta name="robots" content="noindex,nofollow">
<meta name="googlebot" content="noindex" />

Это содержимое моего файла robots.txt: 

User-agent: *
Disallow: /

Заранее спасибо!

1 Ответ

2 голосов
/ 28 октября 2019

Использование указанного вами файла robots.txt будет достаточно для предотвращения индексации вашего сайта ботами, которые следуют стандарту исключения роботов . С этим robots.txt вам не нужно указывать мета-заголовки, потому что бот сначала читает robots.txt и не будет анализировать HTML веб-сайта для чтения мета-тегов.

Мета-тегииспользуется, когда ваш файл robots.txt обычно позволяет проиндексировать эту страницу, но вы хотите исключить его на уровне страницы, что позволяет более детально выбирать.

Обратите внимание, что некоторые необычные сканеры могут не соблюдать стандарт исключения,Если вы действительно хотите ограничить доступ к своему тестовому сайту, вам следует рассмотреть возможность сделать его доступным только после аутентификации или разрешить доступ только к определенным IP-адресам.

...