Должен ли веб-сайт указывать язык в URL-адресе?
Нет, не обязательно.
Будет ли робот очищать сайт на обоих языках, еслиязык устанавливается с помощью файлов cookie (предполагается, что ссылка может изменить язык)?
Нет.Вы должны использовать атрибут content-language
, как рекомендует Эдуардо.В качестве альтернативы, <html lang='en'>
будет выполнять ту же работу AFAIK.
Какой метатег можно использовать, чтобы помочь роботу понять язык веб-сайта?
См.выше
Должен ли я использовать отдельный домен для каждого языка?
Консенсус по переполнению стека (извините, я не могу найти на всю жизньсоответствующие вопросы! У нас были огромные дискуссии по этому вопросу, возможно, они были закрыты, поскольку они не связаны с программированием), а именно: Да, для каждой страны нужен отдельный домен, если вы хотите максимально увеличить видимость поисковой системы для этой страны.