Роботы Txt, блокирующие URL-адреса под пунктом меню - PullRequest
0 голосов
/ 04 декабря 2018

простой вопрос, но не могу найти четкую документацию, чтобы получить правильный ответ.Мне нужно настроить некоторые страницы для деиндексации после реструктуризации меню.

В настоящее время я обрабатываю это индивидуально с помощью следующего

Disallow: https://domain.co.uk/page

Это веб-сайт Joomla, поэтому нет каталогов для страниц, которые мне нужноблок.Что бы я хотел сделать, измените что-либо, подобное приведенным ниже URL-адресам, чтобы они были проиндексированы как группа.

  • домен / продукт / page1
  • домен / продукт / page2
  • домен / продукт / page3
  • домен / продукт / page4

Означает ли это, что я могу сойти с рук, например, ниже: - Disallow: домен / продукт / или - Disallow: домен / продукт *

Меня беспокоит сопоставление параметра с помощью второго метода, поскольку домен / продукт по-прежнему будет частью URL, поскольку теперь он будет доменом / магазином / продуктом

Просто ищу правильное решение, чтобы избавить меня от написания нескольких отдельных блокировщиков

...