Указание переменных в robots.txt

Question

Моя структура URL настроена на две параллели (обе ведут в одно и то же место):

• www.example.com/subname
• www.example.com/123

Проблема в том, что пауки ползают в таких вещах, как:

• www.example.com/subname/default_media_function
• www.example.com/subname/map_function

Обратите внимание, что имя "«subname» представляет тысячи различных страниц на моем сайте, которые имеют ту же функцию.

И они выдают ошибки, потому что эти ссылки предназначены исключительно для целей JSON или AJAX, а не для реальных ссылок.Я хотел бы заблокировать им доступ к этим страницам, но как мне это сделать, если URL содержит переменную?

Будет ли это работать в robots.txt?

Disallow: /map_function

Answer 1

Вам нужно будет сделать

Disallow: /subname/map_function

Роботы будут искать robots.txt на корневом уровне.Также там они оценивают URL-адреса слева направо без подстановочных знаков.

Таким образом, вам нужно будет либо создать одно местоположение для всех функций map_function и исключить его, либо исключить все местоположения.