Правильный способ добавить robots.txt и скрыть это?

Question

У меня есть секретная папка на моем хостинге, которую посетители могут не видеть. Я добавил robots.txt к htdocs:

User-agent: *
Disallow: /super-private/

Однако, если посетитель переходит на http://example.com/robots.txt,, он может видеть имя личной папки. Есть что-нибудь сделать? Htaccess возможно?

Answer 1

robots.txt не является решением здесь.Все, что он делает, это говорит таким вещам, как пауки поисковых систем, что определенный URL не следует индексировать;это не мешает доступу.

Поместите файл .htaccess в super-private, содержащий следующее:

Deny From All

После того, как вы это сделаете, robots.txt не нужно, так как это будет недоступно в любом случае.Если вы хотите разрешить доступ определенным людям, то посмотрите аутентификацию с .htaccess.

Answer 2

Не упоминайте эту личную папку в robots.txt.Затем просто запретите доступ к нему с помощью .htaccess:

deny from all

Также, если на других страницах нет ссылок на эту папку super-private, роботы никогда не должны знать, существует ли их существование, но запретить доступхорошо, если к этой папке никогда нельзя обращаться напрямую из клиентов.