Как запретить поисковой системе индексировать подкаталог / CRM с помощью robot.txt?

Question

Или вообще запретить индексацию всего сайта?

Answer 1

Создайте файл robots.txt и добавьте соответствующие директивы Disallow, например:

User-agent: *
Disallow: /CRM