Разрешить папку, но не конкретные подпапки

Question

Для robots.txt, как мы разрешаем папку, но не определенные подпапки или страницы?

Например, мой блог находится внутри /blog, но я хочу запретить /blog/wp-admin.

Будет ли приведенный ниже код работать для того, чего я пытаюсь достичь?

Disallow: /blog/wp-admin
Allow: /blog

Answer 1

Достаточно использовать

Disallow: /blog/wp-admin

Это запретит все URL, путь которых начинается с /blog/wp-admin:

• https://example.com/blog/wp-admin
• https://example.com/blog/wp-adminfoo
• https://example.com/blog/wp-admin/
• https://example.com/blog/wp-admin.php
• https://example.com/blog/wp-admin/foo/bar
• …

Любой другой URL разрешен длясканировано, в том числе:

• https://example.com/blog/wp-admi
• https://example.com/blog/wp-adm
• https://example.com/blog/wp-ad
• https://example.com/blog/wp-a
• https://example.com/blog/wp-
• https://example.com/blog/wp
• https://example.com/blog/w
• https://example.com/blog/
• https://example.com/blog
• https://example.com/blo
• …