Как настроить файл robots.txt для блокировки всех каталогов, кроме 2

Question

Я не хочу, чтобы поисковые системы индексировали большую часть моего сайта.

Однако я хочу, чтобы поисковые системы проиндексировали 2 папки (и их дочерние элементы).Это то, что я настроил, но я не думаю, что это работает, я вижу страницы в Google, которые я хотел скрыть:

Вот мой robots.txt

User-agent: *
Allow: /archive/
Allow: /lsic/
User-agent: *
Disallow: /

Что правильноспособ запретить все папки, кроме 2?

Answer 1

Я дал руководство по этому вопросу на этом форуме здесь . А в википедии здесь

Обычно первый соответствующий шаблон robots.txt всегда выигрывает:

User-agent: *
Allow: /archive/
Allow: /lsic/
Disallow: /

Но я подозреваю, что может быть слишком поздно. Как только страница проиндексирована, ее довольно сложно удалить. Единственный способ - переместить его в другую папку или просто защитить паролем папку. Вы должны быть в состоянии сделать это на вашем хосте CPanel.