Я прочитал документацию для 1.7 по процессу для AWS, который использует EMR в качестве рекомендованного способа (но, похоже, из-за простоты развертывания).Моим идеальным сценарием было бы иметь кластер сеанса, в основном потому, что я с ним наиболее знаком, и кластер не нужно будет повторно развертывать при изменениях кода.
Мой самый большой вопрос вращается вокруг того, есть ли плюсы и минусы производительности между кластером, настроенным с помощью докера на ec2 (пожалуйста, исправьте меня, если я ошибаюсь в части EC2. Все еще набираю скорость с AWS)против EMR.Объем данных должен был составлять сотни миллионов в день.
Спасибо за любую помощь заранее!