Позвольте мне заверить вас, как автора "хорошего" веб-сканера, что если в сети есть что-то общедоступное, сканер найдет его . Если вы создаете папку типа http://example.com/hidden_folder и думаете, что, не публикуя ссылки на нее, никто не найдет ее, вы ошибаетесь. Это не лучше, чем прятать ключ от дома под ковриком. Хотя сканер, скорее всего, не пойдет на поиск hidden_folder, другие будут. И когда они его найдут, они опубликуют ссылку, и мой сканер найдет эту ссылку.
То же самое может произойти, даже если никто не ищет вашу скрытую папку. Например, представьте, что у вас есть файл http://example.com/hidden_folder/bookmarks.html. В нем у вас есть ссылки на все ваши любимые сайты.
Когда вы нажимаете на одну из этих ссылок (скажем, joesblog.com), запрос, который ваш браузер отправляет на joesblog.com, включает в себя URL ссылки - html-файл в вашей «скрытой» папке.
Вы будете удивлены тем, сколько сайтов публикуют свои журналы доступа. Если joesblog является одним из них, то где-то на этом сайте вы увидите файл, в котором говорится, что "joesblog.com был доступен с http://example.com/hidden_folder/bookmarks.html."
Как уже говорили другие, безопасность через неизвестность не работает. Если на вашем сайте есть какая-то информация, к которой вы не хотите получать доступ, защитите ее паролем или другим способом. Не думайте, что сканеры или люди не найдут его только потому, что вы явно не сказали ему об этом.
Edit:
Если вы не перечислите папки в своем файле robots.txt, роботы будут сканировать их по заданной ссылке. Если вы перечислите папки, то «хорошие» боты не будут сканироваться. «Плохие» боты будут ползти независимо.
По моему мнению, вероятность того, что кто-то прочитает ваш robots.txt для поиска ссылок на скрытые каталоги, ниже, чем вероятность обнаружения этих ссылок другими способами. Я бы предложил использовать решение, предложенное @Joachim, которое предотвратит сканирование «хороших» ботов и не покажет точное имя каталога.
Кроме того, если вы отключите список каталогов и у вас не будет страницы по умолчанию в вашей папке, то бот, идущий на http://example.com/hidden_folder/, не получит ничего, кроме сообщения об ошибке, в котором говорится, что содержимое каталога не может быть перечислено.