Непонятный подстановочный знак в файле robots.txt: * + *, *% 2B *, *% 2b * - PullRequest
Новая
       11

Непонятный подстановочный знак в файле robots.txt: * + *, *% 2B *, *% 2b *

0 голосов
/ 17 октября 2018

Что означают эти 3 строки в этом файле robots.txt (очевидно, я имею в виду *+*, *%2B* и *%2b*)?

Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*

1 Ответ

0 голосов
/ 17 октября 2018

Исходное "стандартное" определяет только

Disallow
Значение этого поля указывает частичный URL, который нельзя посетить.Это может быть полный или частичный путь;любой URL, начинающийся с этого значения, не будет получен.Например, Disallow: /help запрещает как /help.html, так и /help/index.html, тогда как Disallow: /help/ запрещает /help/index.html, но допускает /help.html.

, что означает, что все пути совпадаютбуквально (ни один символ не имеет специального значения, как при сопоставлении с образцом).

Но в нем также говорится

Это не официальный стандарт, поддерживаемый органом по стандартизации или принадлежащийлюбой коммерческой организацией.Никто не применяет его ...

Более современная и современная документация Google объясняет

Google, Bing, Yahoo,и попросите поддержать ограниченную форму "подстановочных знаков" для значений пути.Это:

  • * обозначает 0 или более экземпляров любого допустимого символа.

  • $ обозначает конец URL.

, поэтому 

Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*

запретит всепути, начинающиеся с /collections/, за которыми следует что-либо, содержащее

  • +
  • %2B
  • %2b

какэти символы не имеют особого значения в шаблоне пути.

...