robots.txt разрешает и запрещает несколько страниц, что это значит для других страниц?

Question

Я просматривал файлы robots.txt на многих веб-сайтах, чтобы проверить, могу ли я почистить некоторые специфические c страницы. Когда я вижу следующий шаблон -

User-agent: * Разрешить: / некоторые страницы Disallow: / some-other-page

В файле robots.txt больше ничего нет. Означает ли это, что все остальные оставшиеся страницы на данном веб-сайте доступны для просмотра? PS - Я попытался погуглить этот конкретный случай c, но не повезло.

Answer 1

Согласно этому веб-сайту , Разрешить используется, чтобы разрешить каталог, когда его родитель может быть запрещен. Я нашел этот веб-сайт также весьма полезным.

Disallow: команда, используемая для того, чтобы пользовательский агент не сканировал определенный URL. Для каждого URL допускается только одна строка «Disallow:».

Разрешить (применимо только для робота Googlebot): команда, сообщающая роботу Google, что он может получить доступ к странице или подпапке, даже если ее родительская страница или подпапка могут быть запрещены.

Что касается вашего вопроса, если остальные страницы не включены в каталог Disallow, с вами все будет в порядке.