Я потребляю и обрабатываю данные веб-сокетов с рынков 24/7, и в настоящее время я нахожусь в AWS и пытаюсь определить лучшие практики.Это один из тех, кто «провел столько времени, думая, как это сделать, но никогда не задумывался, должен ли я сделать ».Я хотел бы использовать то, что может предложить AWS, хотя это, вероятно, излишне для того, что я делаю в настоящее время.
В данный момент я просто запускаю один скрипт Python, работающий полный рабочий день, который делает все из одного экземпляра EC2 и взаимодействует с отдельной базой данных RDS для хранения необработанных данных.Я хотел бы разбить это на части, так как сейчас я собираюсь работать с входящими данными, чтобы поддерживать «состояние» рыночной книги заказов, возможно, в DynamoDB (поскольку оно бесплатно и, кажется, помечает необходимые поля).Мне не нужны скорость и время отклика, но я был бы признателен за ответы, которые дополнительно покрывают это будущее, потенциальную потребность.
Есть ли лучший / более простой способ, чем запуск экземпляра EC224/7 скрипт Python для получения и передачи любых полученных данных веб-сокета в RDS?Приходятся ли изображения / экземпляры Docker вообще в мои потребности?
Если я помещу все полученные сообщения в очередь SQS, буду ли я использовать одну или несколько лямбда-функций для очистки полученныхданные, а затем сохранить результат в RDS?
Рыночные веб-сокеты, с которых я часто записываю записи, поэтому я хотел бы найти решение, с помощью которого экземпляры / изображения веб-сокет-приемника могутдублироваться, и все они передают свои соответствующие данные в эту систему, а также будут дублированы.
Если я хочу работать с полученными данными и сохранить состояние рынка на DynamoDB (такжекак сохранить его в необработанном формате в RDS), можно ли этого достичь с помощью лямбда-функций?
Мне бы лучше было выполнить всю работу над начальным экземпляром EC2 / скриптом Pythonили как можно лучше использовать SQS / Lambda / others?Есть ли дополнительные компоненты, о которых я должен знать?
Спасибо!