Robots.txt, запретить многоязычный URL

Question

У меня есть общедоступная страница, на которую пользователи не могут войти.Поэтому у меня есть URL, на который нет ссылки, и вы должны ввести его вручную, а затем выполнить вход.

Однако URL-адрес является мультиязычным, поэтому он может быть "/ SV / Account / Logon" или "/ EN/ Аккаунт / Вход в систему "и т. Д. Можно ли отключить индексирование этого URL для всех языков?

Answer 1

Этот URL-адрес может помочь вам http://www.robotstxt.org/robotstxt.html. В вашем случае не будет исключений с подстановочными знаками, вам нужно будет добавить все URL-адреса входа для конкретного языка в robot.txt

Обновление

вы можете поместить Disallow: /folder/subfolder/ или Disallow: /folder/ в ваш файл robots.txt