Я собираюсь создать контент-сайт, возможно, с тысячами различных записей, доступных по индексу и поиску.
Какие меры я могу предпринять, чтобы не дать вредоносным сканерам удалить все данные с моего сайта? Меня меньше беспокоит SEO, хотя я бы не хотел блокировать законных сканеров все вместе.
Например, я думал о случайном изменении небольших битов структуры HTML, используемой для отображения моих данных, но я думаю, что это не очень эффективно.