Spark - Доступ к log4j logger из PandasUDF

Question

Я использую Spark-2.4 и пытаюсь получить доступ к логгеру log4j из функции PandasUDF. Как это можно сделать на драйвере:

sc = SparkContext(conf=conf) 
log4jLogger = sc._jvm.org.apache.log4j 
log = log4jLogger.LogManager.getLogger(__name__) 
log.warn("Hello World!")

Может кто-нибудь выложить пример