Используйте рабочий лист Scala идеи IntelliJ в качестве Scala REPL для Apache Spark

Question

Можно ли использовать рабочий лист Scala в IntelliJ в качестве альтернативы ноутбуку Jupyter.Я следовал упомянутому решению здесь , однако он запускает код локально, а не в удаленном кластере.Моя основная проблема заключается в том, что IntelliJ IDE работает на моем ноутбуке локально, а искровой кластер находится в облаке.Как мне попросить IntelliJ использовать удаленный SBT?

Answer 1

Если вы просто пробуете учебник в более интерактивном / специальном стиле для изучения программирования и концепций Spark, ссылка, которую вы упомянули в своем посте, - это то, как вы это сделаете.В этом режиме вы в основном моделируете одноузловой кластер Spark (т.е. ваш локальный компьютер), который действует как как драйвер, так и как узел-исполнитель (все в одном).

Тем не менее, вы не отправите и не запустите приложение Spark в кластере ACTUAL Spark в более реальном сценарии.Если это то, что вы пытаетесь сделать, вам нужно вместо этого использовать один из двух режимов развертывание , предлагаемых Spark: режим клиента и режим кластера.Вы будете использовать утилиту командной строки «spark-submit» для отправки скомпилированной библиотеки Spark (толстый JAR) в качестве задания Spark.Подробнее здесь .