Какая польза от "Disallow: / sitepanel / и Disallow: / cgi-bin /"?

Question

Я видел некоторые сайты, использующие «Disallow: / sitepanel / OR Disallow: / cgi-bin /» в своем файле robots.txt. Я понимаю, что мы используем "Disallow:", чтобы не дать сканерам поисковых систем сканировать определенную веб-страницу или каталог, но я не понимаю, почему нам нужно запретить каталог "/ cgi-bin / или / sitepanel"? Любая помощь в этом будет оценена. Заранее спасибо.

Answer 1

как вы сказали, поисковые системы перестанут сканировать эти страницы.

Это дает 2 преимущества:

1. Эти страницы никогда не появятся в результатах поиска. Вы не хотите, чтобы пользователи имели к ним легкий доступ.
2. Поисковые системы могут сосредоточиться на ваших важных страницах и не тратить впустую бюджет сканирования.