Я создал веб-скребок, который собирает информацию с веб-страниц и заполняет параметры / делает публикацию API, которая выполняется постоянно (есть несколько десятков тысяч страниц, которые нужно обработать, и каждый запрос занимает около 1 секунды, чтобы предотвратить слишком много запросов или 429 ошибок).
Я хочу упростить процесс, передав код на другие IP-адреса. Если я выполню больше запросов с моего IP, сайт, скорее всего, начнет блокировать запросы. Цель состоит в том, чтобы 4 или 5 экземпляров этого кода работали постоянно.
Единственное известное мне решение, которое могло бы работать, - это использование виртуальных машин для запуска дополнительных экземпляров кода, но я думаю, что есть более простые способы достижения этой цели.