Недавно я внес некоторые пользовательские изменения в модуль катализатора Spark SQL, чтобы избежать некоторых проблем планирования запросов (проблем с порядком соединения).
Теперь мне нужно загрузить файл spark-catalyst.jar в кластер. В идеале у меня должны быть все узлы в кластере, имеющие одинаковые связанные файлы jar.
Однако, теоретически, возможно также просто обновить spark-catalyst.jar узла, в котором находится программа драйвераработает на? (Моим базовым кластером является AWS EMR, поэтому драйвер запускается на главном узле приложения)
Я провел эксперимент: просто обновите главный узел приложения, и он работает (на основе Spark UI DAG). Я просто хочу подтвердить, что это действительно и не имеет побочных эффектов во время разработки.
Спасибо за разъяснение.