robots.txt игнорирует все папки, но сканирует все файлы в корне

Question

Должен ли я тогда сделать

Пользователь-агент: *

Запретить: /

это так просто? или это тоже не будет сканировать файлы в корне?

По сути, это то, что мне нужно - сканировать все файлы / страницы в корне, но ни одну из папок вообще. или я собираюсь указать каждую папку явно .. то есть

disallow: / admin

disallow: / this

.. и т. Д.

спасибо

физ

Answer 1

Ваш пример заблокирует все файлы в корне.

Не существует "стандартного" способа легко сделать то, что вы хотите, без указания каждой папки явно.

Однако некоторые сканеры поддерживают расширения , которые позволят вам выполнять сопоставление с образцом. Вы можете запретить всем ботам, которые не поддерживают сопоставление с образцом, но разрешить тех, которые поддерживают.

Например

# disallow all robots
User-agent: *
Disallow: /

# let google read html and files
User-agent: Googlebot
Allow: /*.html
Allow: /*.pdf
Disallow: /