На самом деле я нашел ответ на свой вопрос по следующей теме. Но я все еще хочу спросить:
Robots.txt и подпапки
Давайте вернемся назад: поскольку нет необходимости отмечать дочерние папки одну за другой. Итак, каков будет результат, если мы поместим файл robots.txt в нужные параметры отдельно для каждой дочерней папки?