У меня есть кластер EMR в AWS.
Я создаю сервер RStudio для использования этого кластера.
Я могу получить оболочку spark и выполнить spark.sql("show tables").show и просмотреть таблицы в HDFS изсервер, на котором запущен RStudio.
Однако, если я выполню spark.sql("select * from ny_taxi_hdfs limit 10").show, произойдет сбой с ошибкой. Начальное задание не приняло никаких ресурсов.
Если я делаю то же самое с мастером, все работает нормально.
Похоже, что используется пряжа "(master = yarn, app id = application_1568817071939_0034)"
Даже не уверен, где искать.