Разрешить поисковой системе сканировать имена пользователей

Question

У меня есть сайт, где пользователи могут войти в свой профиль и защитить паролем определенные данные. Я бы хотел, чтобы поисковые системы сканировали «незащищенные» части профиля (которые варьируются от пользователя к пользователю). Подобно тому, как если вы вводите имя пользователя в Facebook, его профиль Facebook появляется в результатах поиска. Нужно ли делать что-то особенное, чтобы бот не сканировал защищенные паролем разделы, а все равно сканировал (всегда публичное) имя пользователя? Я не уверен, что это даже проблема, но я хотел бы обновить свой robots.txt, чтобы учесть это.

Кроме того, как я могу гарантировать, что имена пользователей доступны для ботов (безопасным способом)? Нужно ли создавать отдельный каталог со списком имен или есть лучший способ?

Спасибо за любой совет

Answer 1

Поисковые системы будут индексировать только то, что видит анонимный пользователь. Если вы этого еще не сделали, я бы создал страницу со списком для просмотра профилей пользователей, в которых вы показываете только те данные, которые хотите. Это гарантирует, что ссылка существует для каждого вашего userProfile.aspx?uid=XXXXXX. Пауки поисковой системы не смогут увидеть данные, защищенные паролем.

Я бы также добавил карту сайта, чтобы гарантировать, что пауки поисковых систем попадут на страницу со списком. Не думайте, что Google волшебным образом найдет ВСЕ ваши страницы, хотя обычно они основаны на ссылках на ваш контент. Отправить карту сайта в Google.

Изменить в отношении карт сайта и результатов поиска
Чтобы пауки могли сканировать результаты поиска, я бы указал на карте сайта запись, которая указывает паукам на страницу результатов поиска, которая отображает все (например, search.aspx? Param = all).

Answer 2

Вам не нужно ничего делать. Поисковые роботы не смогут получить доступ к вашим защищенным страницам, пока они без проблем получат доступ к общедоступному контенту, если вы явно не запретите его в robots.txt