Недавно я работал над поиском экономичного и быстрого способа настроить кластер HDFS на AWS. С одной стороны, служба AWS EMR быстро запускается и запускается, но требует больших затрат, поскольку не позволяет выключить кластер, когда он не используется. С другой стороны, можно вручную настроить HDFS на инстансах EC2 с поддержкой EBS . Поскольку эти экземпляры поддерживаются EBS, данные будут сохраняться даже при выключении компьютеров. Этот способ экономичен, но требует времени. Если кластер содержит, скажем, 50 машин, настройка каждой вручную займет много времени. Кроме того, кластерные машины должны иметь фиксированные DNS-имена для правильной работы после перезагрузки.
Существует ли служба AWS, которая позволяет развернуть кластер HDFS за считанные минуты и при этом является рентабельной?