Я внимательно отслеживаю 404 на своих сайтах, что помогает мне обнаруживать неработающие ссылки и попытки взлома, но недавно я получал спам в журналах от браузеров с этими строками в User Agent.Похоже, что они пытаются сканировать родительские каталоги на предмет допустимых ресурсов, но каталоги имеют особое значение для моих сайтов из-за переписывания SEO.
Прежде чем я решу, что с этим делать, я хотел бы знать, что пытаются эти UA.делать и почему.Если это просто «шум», я был бы рад полностью прекратить соединение, если бы они сделали что-то полезное, я мог бы дать соответствующий ответ.
Я полагаю, что некоторые запросы поступили от моих клиентов, поэтому я не могуделай что-нибудь слишком разрушительное, сколько бы я ни хотел.