Очистка сайта, защищенного WAF с использованием Java - PullRequest
1 голос
/ 04 марта 2020

У меня есть задача собрать данные с сайта, защищенного WAF, например Imperva Incapsula. Я гуглил на java утилизацию фреймворков, но все найденные инструменты используют браузер без заголовка, который не подходит для использования против WAF. Я предполагаю, что мне нужно использовать Docker контейнер с Chrome + Xvfb для каждого запроса очистки URL, как это реализовано в платформе Apify. Но мне нужно обрабатывать сотни запросов в секунду, и это потребует огромных ресурсов. Так может кто-нибудь может предложить мне лучшее решение для этой цели? Основными требованиями являются надежный браузер и возможность рандомизации браузера по отпечатку пальца.

...