У меня есть ссылки с этой структурой:
Я хочу, чтобы google & co разместил все ссылки, имеющие ОДИН тег в URL, но НЕ URL, содержащие два или более тегов.
В настоящее время я использую метатег html "robots" -> "noindex, nofollow" для решения проблемы.
Существует ли решение robots.txt (которое работает, по крайней мере, для некоторых поисковых роботов) или мне нужно продолжить с "noindex, nofollow" и жить с дополнительным трафиком?
Я не думаю, что вы можете сделать это с помощью robots.txt. Стандарт довольно узок (без подстановочных знаков, должен быть на верхнем уровне и т. Д.).
А как насчет их запрета на основе агента пользователя на вашем сервере?