На наших сайтах некоторые страницы могут быть доступны только после входа в систему ...
Хорошо ли запретить эти страницы после входа в robots.txt?
Действительно поиск ответа от Google, но ничто не может помочь ...
В общем, я бы прислушался к совету из этой статьи:
Подводя итог, всегда добавляйте страницу входа в файл протокола исключения роботов, в противном случае вы получите: 1 - жертвуя ценным «временем сканирования поисковой системы» на вашем сайте. 2 - тратя ненужную пропускную способность и ресурсы сервера. 3 - потенциально даже блокируя сканеры из вашего контента.
Подводя итог, всегда добавляйте страницу входа в файл протокола исключения роботов, в противном случае вы получите:
1 - жертвуя ценным «временем сканирования поисковой системы» на вашем сайте.
2 - тратя ненужную пропускную способность и ресурсы сервера.
3 - потенциально даже блокируя сканеры из вашего контента.
https://blogs.msdn.microsoft.com/carlosag/2009/07/06/seo-tip-beware-of-the-login-pages-add-them-to-robots-exclusion/
Аналогично:
https://webmasters.stackexchange.com/questions/86395/using-robots-txt-to-block-sessionid-urls
В идеале вы сможете легко исключить все эти страницы с помощью некоторого регулярного выражения.Например, если все URL-адреса этих страниц начинаются с /my-account/, то вы должны сделать это:
/my-account/
disallow: /my-account/*