Будет ли этот код robot.txt запрещать каждую поисковую систему?

Question

Я хотел бы знать, запрещает ли этот код каждой поисковой системе сканировать мой каталог.

User-agent: * 
Disallow: /

также обновляется ли этот код новым протоколом htlm 5?

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Действительно полезно или больше не нужно?

Answer 1

Нет, это остановит только тех, кто подчиняется протоколу robots.txt (существуют поисковые системы, которые намеренно не слушаются robots.txt, чтобы найти «скрытый» материал).

Однако это остановит подавляющее большинствопоисковых систем, которые ваш средний потребитель будет использовать, увидев его.