Как запретить всем роботам индексировать / сканировать все HTML-страницы на моем сайте.Я не могу заблокировать папки, потому что все эти HTML-страницы распределены в очень многих папках.Поэтому я хочу, чтобы все роботы НЕ индексировали / сканировали все HTML-страницы на моем веб-сайте.