Соскреб содержимого практически уничтожает мой сайт - Защитить себя? - PullRequest
0 голосов
/ 17 апреля 2020

Это случается со мной каждые пару месяцев на моем сайте https://ygoprodeck.com/. Сайт основан на Yu-Gi-Oh! и имеет изображения для всех карт. Эти изображения доступны как на моем основном домене, так и на поддомене.

Кто-то запустит скрипт, который пытается загрузить каждое изображение с веб-сайта вместе с отправкой массовых запросов для проверки изображений, которых у нас даже нет. Это приводит к тому, что скорость процессора сервера достигает 100%, и все замедляется. Используя функцию CPanel «Raw Access», я могу проверить журнал и увидеть множество таких случаев:

[17/Apr/2020:18:20:51 +0100] "GET /pics/20000050.jpg HTTP/1.1" 404 31473 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

Когда это происходит, я обычно сразу включаю « Я атакован » на cloudflare и это решает. Затем я нахожу IP-адрес из Cloudflare и блокирую его, что решает проблемы, и затем я могу отключить «Я под атакой». Однако это требует от меня полного ручного вмешательства, и это происходило раньше среди ночи.

Могу ли я что-то сделать, чтобы защитить себя от этого? У нас есть API, который предлагает все изображения через наш облачный сервер Google, но иногда мы получаем человека, который, кажется, игнорирует это и пытается загрузить их прямо с нашего собственного сервера.

...