В файле robots.txt я собираюсь запретить некоторые разделы моего сайта.
Например, я не хочу, чтобы мои "условия и положения" индексировались поисковыми системами.
User-agent: *
Disallow: /terms
Реальный путь к файлу на самом деле
/data/terms_and_conditions.html
Но я использовал .htaccess для перезаписи URL.
Теперь для моего Q, я должен указатьпереписанный URL-адрес в файле robots.txt или реальный URL-адрес?
Дополнительный вопрос: нужно ли мне также иметь строку «allow», или поисковые системы предполагают, что разрешено все остальное, чего нет вфайл robots.txt?
Спасибо