Я недавно начал работать над небольшим заданием по веб-обработке для своей работы и немного познакомился с вопросом robots.txt.
Здесь я недавно обнаружил веб-сайт со странным файлом robots.txt:
User-agent:*
Disallow
Мое понимание (поддерживаемое множеством примеров на разных форумах) robots.txt заключается в том, что DisallowКоманда должна содержать двоеточие, чтобы иметь какое-либо влияние на сканеры, которые читают файл.Итак, из этого я понял, что эта веб-страница позволяет сканировать поисковые системы.
С другой стороны, строка User-agent:* без каких-либо других строк используется для указания того, что веб-сайт разрешает полное сканирование.Так почему бы иметь смысл продолжать с Disallow?
Так что в целом я немного запутался в этом вопросе.Буду признателен за некоторые намеки на то, что я пропускаю в этом отношении.Сайт: http://de.vindecoder.pl/