Я не могу найти информацию, которая описывает, сколько экземпляров приложений Spark с spark-submit можно отправить в кластер Spark ... скажем, в AWS EMR.
Мне нужно реализовать логику, которая будет прослушивать события S3 и отправлять одно и то же приложение Spark (с другими параметрами) при поступлении нового файла (ов).
Существует ли (в AWS EMR) какая-либо очередь заданий, которая переведет приложения Spark в состояние ожидания, когда у кластера EMR нет свободных ресурсов для их обработки прямо сейчас? Итак, сколько приложений оно может принять и поместить в очередь ожидания (есть ли ограничения)?