Создает ли указание директиву исключение после запрета всех ботов в начале в файле robots.txt? - PullRequest
Новая
       32

Создает ли указание директиву исключение после запрета всех ботов в начале в файле robots.txt?

0 голосов
/ 19 ноября 2018

Случай как ниже: 

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow: /test

В этом случае может ли робот Google выполнять свою работу?

Полагаю, что, возможно, поскольку в файле указан только запрет / проверка для робота Google, есть изменение, что робот Google может выполнять свою работу в других каталогах, кроме / test?

1 Ответ

0 голосов
/ 21 ноября 2018

вопрос: в этом случае может ли робот Google выполнять свою работу?

ответ: не в этом случае 

User-agent: *
Disallow: /

вопрос: я полагаю, может быть, поскольку в файле указан только запрет / проверка для робота Google, поэтому есть изменение, что робот Google может выполнять свою работу в других каталогах, кроме / test?

ответ: да, точно

...