Как обезопасить конфиденциальные каталоги от ботов? - PullRequest
3 голосов
/ 03 июня 2019

Каков наилучший способ защитить некоторые конфиденциальные файлы и каталоги от ботов и сканеров (таких как бот Google и т. Д.).

Пример структуры каталогов:

/folder/
/public_html/
             /includes/ - // Private
             /db/config.php - //Private
             index.php - // Public
             robots.txt - // Public

Я знаю, что могу добавить эти файлы и директории в robots.txt и запретить их, но только некоторые боты принимают правила. Также пользователи могут прочитать файл robots.txt и просмотреть расположение конфиденциальных файлов.

Другим вариантом является размещение этих папок и файлов вне каталога public_html.

Итак, что, по вашему мнению, является лучшим способом обезопасить их?

Ответы [ 2 ]

2 голосов
/ 13 июня 2019

Конечно, вы не можете использовать файл robots.txt, чтобы скрыть свой каталог, а файл robots.txt даже не препятствует индексации в Google.

Что вам нужно сделать, это настроитьФайл .htaccess, если вы используете сервер Apache и правила сборки, чтобы скрыть / перенаправить и вернуть страницу ошибки 404 или, возможно, отказано в доступе 403.

См. это, например, http://corz.org/server/tricks/htaccess.php

Другой вариант:создать файл .htaccess в каждой личной папке и добавить в этот файл следующую строку:

deny from all

Надеюсь, это поможет, ?

2 голосов
/ 03 июня 2019

Объявлять, что пользовательские агенты не смогут видеть вас, исключает

User-agent: *

Это исключает всех ботов.Или, по крайней мере, так должно быть.

Тогда исключите ваши пути

Disallow: /something/
Disallow: /something_else/

Надеюсь, это поможет.

...