Можно ли упаковать код Spark в библиотеки без основной функции?

Question

До сих пор я использовал Spark только для написания приложения с основной функцией. Но сейчас я хотел бы создать библиотеки на основе Spark (с операциями RDD / Dataframe и т. Д.), Которые затем можно вызывать из других приложений. Является ли это возможным? И если да, то как?

Answer 1

Да, конечно, это возможно. Например, посмотрите на GraphFrames или любую библиотеку на Spark Packages .