HTML: можно ли защитить некоторые страницы от Google с помощью аутентификации пользователя?

Question

Раздел моего сайта доступен только для аутентифицированных пользователей.Мне было интересно, сканируются ли эти страницы Google, или они вроде как "спрятаны" в поисковой системе.

спасибо

Answer 1

Если они закрыты для пользователей, которые не прошли проверку подлинности, они, конечно, также закрыты для Google.Бот Google - это всего лишь еще один клиент, пытающийся получить доступ к вашему сайту.

Некоторые сайты, такие как газеты, имеют контент, зарезервированный для платящих пользователей, но они видны в поисковых системах.Это всегда осознанный поступок со стороны веб-мастера, чтобы открыть сайт для поисковых роботов, даже если они не платят клиентам.

У поисковых систем нет «специального ключа», чтобы попасть в дом.

Answer 2

Если у вас все еще есть вопросы, вы можете запросить Google с помощью "site: yourside.com" и проверить страницы результатов.

Answer 3

Если на вашем сайте есть ссылки на страницы, требующие аутентификации, то да, Google попытается его отсканировать. Вы должны убедиться, что не прошедшие проверку пользователи не обслуживаются.

Как подсказывает Грин, используйте файл Robots.txt, чтобы поисковые системы не пытались сканировать защищенный контент.

Помните, что выполнение инструкций в Robots.txt является добровольным. Ничто не мешает веб-сканеру фактически запрашивать такой контент, и если это так, файл Robots.txt может быть эквивалентен сообщению на входной двери, говорящему «Ценные вещи здесь !!».

Answer 4

Поскольку сканер веб-сайтов - это просто еще один клиент, пытающийся получить доступ к вашему сайту, область аутентификации также будет недоступна сканеру.

Если вы хотите запретить веб-сканерам индексировать другие части вашего веб-сайта,используйте файл robots.txt, который вы поместите в корневой каталог вашего сайта.Например:

robots.txt

User-agent: *
Disallow: /hidden

Это позволит всем веб-сканерам не индексировать содержимое внутри каталога «скрытый».