Как отказаться от запроса и не отвечать на него?

Question

Есть несколько ботов, которые постоянно заходят на мой сайт снова и снова.

http://proxy.parser.by/proxy.php (Referrer)

Я не хочу даже отвечать никому, кто запрашивает файл .php, или .htm, или .html.

Как лучше всего не отвечать на такие запросы?

Обновление: (Я не хочу нести расходы на ответ)

Answer 1

Это, вероятно, лучше всего сделать на уровне сервера, еще до того, как запрос попадет в Django. Например, в Apache вы можете использовать mod_rewrite для контроля доступа. Это правило отклоняет все запросы с путями, заканчивающимися на .php, .htm или .html:

RewriteRule \.(php|html?)$ - [F]

В документации Apache объясняется, как блокировать запросы по пользовательскому агенту, по рефереру, по IP-адресу и т. Д.

Answer 2

Вставьте промежуточное программное обеспечение, которое обнаружит любой запрос, который вы не хотите обрабатывать, и вернёт HTTP 403 (Запрещено).