У нас есть толстый кувшин, который мы используем для хранения заданий на спарк и общего кода для запуска указанных заданий на спарк.
Когда мы работаем над новыми заданиями, нам нравится использовать Zeppelin для разработки и тестированиянаш код, но общий код стал достаточно полезным, поэтому мы хотим, чтобы наши разработчики вызывали упомянутые функции в Zeppelin.
К сожалению, так как мы его настроили, у нас есть переменная SparkSession, которую мы используем, похороненная вкод и сказал, что SparkSession не совместим с искровым сеансом Zeppelin. Поэтому я хотел бы написать некоторый магический код отражения, который ищет переменную zeppelin и создает новый SparkSession, если он не может его найти. (Таким образом, мы используем производственную версию SparkSession при запуске толстого фляги в prof и используем сессию Zeppelins при раскрутке из Zeppelin)
Некоторые фундаментальные исследования ничего не дали, и я подозреваю, что этоконкретная проблема невозможна, но я хотел посмотреть, не делал ли кто-нибудь что-то такое странное раньше.
Есть мысли?