Это называется идентификация сканера .Когда на ваш веб-сайт поступает запрос, поле User-Agent содержит информацию о браузере или сканере.
В зависимости от сканера значение этого поля будет различным.Затем вы можете связать разные значения с разными языками.Вы также можете взглянуть на большой список пользовательских агентов .
Я все еще почти уверен, что, сделав это, вы снизите свой ранг вПоисковые системы , поскольку вы предоставляете сканерам разные ответы, чем реальным пользователям, но у меня нет четких ссылок в поддержку этого утверждения.
Во всех случаях сканеры должны собирать ресурсы на разных языках,и эти сканеры знают, как обращаться с многоязычными веб-сайтами , за исключением, может быть, тех, которые пытаются следовать любой худшей практике.Кроме того, указанные вами поисковые системы не ограничиваются одним языком .Яндекс доступен например в Турецкий .Что касается Baidu, Согласно Википедии , он обслуживает Китай, Японию, Таиланд, Египет и Индию.