Скрап и колба на ec2 - PullRequest
       18

Скрап и колба на ec2

0 голосов
/ 22 мая 2018

Так что я в основном новичок в этом, так что терпите меня, пожалуйста.

У меня есть 3 паука-питона, которые используют: scrappy, scrappy-user-agent, pandas, MongoDB.они очищают около 150-200 страниц каждые 12 часов и хранят данные локально в коллекциях MongoDB.И у меня есть приложение-фляга, которое соединяет конечные точки API с коллекциями и возвращает данные в качестве ответа.

Возможно ли развертывание как в одном экземпляре ec2, так и в случае, если пользователь покажет, что колба и ответ будут замедленыутилизация производится параллельно на одной машине?

1 Ответ

0 голосов
/ 22 мая 2018

возможно , чтобы развернуть их обоих в одном экземпляре.Однако вам нужно знать, сколько памяти и ЦП используют оба приложения, и соответственно выбрать тип экземпляра.

Учитывая низкую частоту просмотра веб-страниц, вполне возможно, что для этого не потребуется много памяти и ЦП, но это может иметь место в том случае, если вы выполняете некоторую тяжелую обработку отсканированных данных.

Чтобы узнать о конфигурации памяти и ЦП каждого типа экземпляра: https://aws.amazon.com/ec2/instance-types/

...