Большинство роботов поисковых систем (все легитимные) будут соблюдать эту инструкцию. Тем не менее, все, что вы действительно сделали, это попросите робота не индексировать вашу страницу. Он не вызывает какого-либо поведения, просто запрашивает его.
Вы могли бы ...
- Требуется авторизация для просмотра страницы. Роботы не будут аутентифицированы, и поэтому не смогут просматривать страницу, чтобы проиндексировать ее.
- Возвращает ошибку
404
для любого запроса, где строка User-Agent:
находится в списке известных роботов поисковой системы. Существует множество сайтов (например, этот ), которые легко позволят вам составить такой список.