У меня небольшая ситуация, когда мне нужно удалить файл robots.txt, потому что я не хочу, чтобы роботы-роботы получали ссылки.
Также я хочу, чтобы они были доступны пользователю, и я не хочу, чтобы они кэшировались поисковыми системами.
Также я не могу добавить какие-либо аутентификации пользователей по разным причинам.
Так что я подумываю об использовании mod-rewrite, чтобы запретить сканерам поисковой системы сканировать его, в то время как все остальные могут это делать.
Логика, которую я пытаюсь реализовать, состоит в том, чтобы написать условие, чтобы проверить, является ли входящий пользовательский агент поисковой системой, и если да, то перенаправьте их на 401.
Единственная проблема - я не знаю, как это реализовать. (
Может ли кто-нибудь помочь мне с этим.
Заранее спасибо.
С уважением,