Запуск нескольких скребков - PullRequest
0 голосов
/ 18 апреля 2020

Итак, у меня есть большой проект, в котором есть 11-14 различных скребков, в которых у них разное поведение, разное время цикла (они спят определенное количество времени, потом скребут, потом снова спят)

Начало 14 в то же время не кажется хорошей идеей, и я хотел, чтобы весь проект был расширяемым (например, покупателю нужно просто удалить один файл, содержащий скребок, и он будет масштабироваться в зависимости от того, сколько у него скребков) .

Я использую docker, и у меня также возникают проблемы с одновременным запуском нескольких из них (даже при каждом запуске в произвольном порядке).

TL; DR

Как мне масштабировать / запускать несколько различных скребков-кукольников (без головы chrome)?

...