Могут ли роботы поисковых систем сканировать страницы, требующие входа в систему?

Question

Если на домашней странице веб-сайта есть контент, если пользователь не вошел в систему, и другой контент, когда пользователь входит в систему, сможет ли робот поисковой системы сканировать контент, специфичный для пользователя?

Если они не могут сканировать, я могу продублировать контент из другой части веб-сайта, чтобы сделать его легко доступным для пользователей, которые указали свои потребности во время регистрации.

Я думаю, что нет, но я бы предпочел убедиться, прежде чем сделать что-то глупое.

Answer 1

Вы не можете предполагать, что сканер поддерживает файлы cookie, но вы можете идентифицировать сканер и разрешить сканеру «войти» на ваш сайт по коду.Однако это откроет для любого пользователя вид, что он является сканером для получения данных в области входа в систему.

Answer 2

Даже если это можно сделать, большинству поисковых систем запрещается показывать контент сканера, который не совпадает с тем, что любой пользователь получит при входе, и может привести к тому, что ваш сайт будет исключен из индекса.

Вот почему такие сайты, как expertsexchange, должны предоставить ответ, если вы прокрутите страницу до конца, даже если они пытаются создать видимость, что вы должны зарегистрироваться. (По этой причине это возможно только в том случае, если вы введете expertsexchange с помощью google referer)

Answer 3

Бот сможет видеть все содержимое вашего документа. Если содержимое не существует в документе, то бот не будет его видеть. Если он существует в документе, но скрыт от просмотра, сканер сможет его забрать.