Pyspark, как часто мне следует создавать новую сессию Spark?

Question

У меня есть конвейер, который выглядит как класс с некоторыми методами. В каждом методе я обрабатываю некоторые данные. Пример:

class Pipeline:

    def load_users(self):
        pass

    def load_sessions(self):
        pass

Должен ли я инициализировать новый сеанс spark в каждом методе с помощью пользовательской конфигурации? Или лучше инициализировать его один раз в __init__ методе?

Answer 1

Вы можете сделать это сразу же, изменив свойства Spark по мере прохождения различных действий / конвейеров, используя spark.conf.set ("prop", "val"). Именно так и поступают большинство, и есть несколько примеров, которые можно найти наоборот.

Если вы хотите лучшего понимания, то от самого мастера: Сколько SparkSessions может иметь одно приложение? . Это добавляет некоторые идеи, которые можно рассмотреть в связи с вашим вопросом. Вопрос в том, нужно ли вам это учитывать.