Google сканирует файлы cookie

Question

Содержание моего сайта зависит от файлов cookie в запросе, и когда робот-гугл-робот заходит на мой сайт, он не индексирует большое количество контента, поскольку в каждом его запросе нет определенных файлов cookie.

Можно ли установить какое-то правило, что когда робот-обходчик сканирует мой сайт, он использует определенные файлы cookie?

Answer 1

Робот Googlebot не использует файлы cookie специально - он должен «видеть» то, что кто-либо еще увидит на вашем сайте, «наименьший общий знаменатель», если хотите; в противном случае результаты поиска будут бессмысленными для неизвестного количества поисковиков.

Пожалуйста, поищите в Google "cookie-файлы Googlebot", чтобы получить ссылки на обсуждения и документацию о поисковых системах, о том, как они работают и почему они работают, как они работают; Одним из решений вашей проблемы может быть внедрение правила «первый визит / просмотр бесплатно».

Answer 2

Да, сканер Google имеет слово "Googlebot" в заголовке запроса. Просто проверьте это, но имейте в виду, что люди могут подделать это, чтобы получить доступ к контенту вашего сайта. Как отмечают любопытные в комментариях, на людей, которые используют ваш сайт, обычно смотрят свысока и, вероятно, против TOS от Google.