Я серьезно обеспокоен, потому что Google каким-то образом проиндексировал страницу на моем сайте, которая предположительно защищена, чтобы сделать ее невидимой для не подписанных пользователей.
Страница защищена чтением файла cookie, который содержит хэш сеанса пользователя. Если хеш расшифровывается для действительного пользователя, отображается страница. Если это не так, сервер возвращает ошибку http 401 (доступ запрещен).
На странице, которую Google проиндексировал, я проверил (используя окно инкогнито), что ошибка 401 возвращается правильно и что данные не отображаются. Однако Google каким-то образом смог прочитать его, потому что в его результатах поиска есть заголовок.
Но меня действительно беспокоит, что Google вообще смог прочитать это. Единственная возможность, о которой я могу думать, - это то, что они удалили страницу из браузера вошедшего в систему пользователя, который имел законный доступ, или, по крайней мере, использовали его cookie.
С тех пор я добавил дополнительную строку в заголовок:
<meta name='robots' content='noindex,nofollow'>
Я действительно не знаю, поможет ли это.
Существуют ли какие-либо другие действия, которые я должен предпринять, чтобы обеспечить максимальную защиту от элементов индексации Google, от которых он предположительно запрещен? Есть ли хорошие способы тестирования страницы, чтобы убедиться, что она никоим образом не видна для Google?
(кстати, я не включил URL-адрес, потому что соответствующая страница скоро будет утверждена и, следовательно, станет законной для просмотра)