Что произойдет, если я отправлю банку без искры в кластер с помощью spark-submit?

Question

Не очень ясно о всей картине искры.Допустим, я создаю обычный java-jar, без участия каких-либо объектов, имеющих отношение к искре, без sparksession, без sparkcontext, без rdd, без набора данных, тогда что произойдет, если я отправлю его в spark cluster через spark-submit с помощью deply-mode = cluster?

Я написал простую банку, которая печатает только несколько строк, и кажется, что она отлично работает на моей игрушечной свече, я однажды думал, что это приведет к некоторой ошибке, поскольку это не приложение для искры ...

Интересно узнать, могу ли я ожидать того же результата при отправке в реальный искровой кластер, который имеет много узлов?

Answer 1

Это может зависеть от менеджера кластера и режима, но в целом ничего странного.Spark-приложение представляет собой простое JVM-приложение с обычной функцией main, оно не реализует определенный интерфейс и отсутствие активной сессии не является проблемой.