Как войти из приложения PySpark в HDFS, используя библиотеку журналов python

Question

Как войти в HDFS, используя стандартную библиотеку журналов. В частности, я использую TimedRotatingFileHandler , например:

FORMATTER = logging.Formatter("%(asctime)s — %(name)s — %(levelname)s — %(message)s")
LOG_FILE = 'hdfs://node01:8022/tmp/test/run_dev.log'
def get_file_handler():
   file_handler = TimedRotatingFileHandler(LOG_FILE, when='midnight')
   file_handler.setFormatter(FORMATTER)
   return file_handler
def get_logger(logger_name):
   logger = logging.getLogger(logger_name)
   if (logger.hasHandlers()): logger.handlers.clear() 
   logger.addHandler(get_file_handler())
   logger.propagate = False
   return logger

Однако, похоже, я не могу передать полный путь HDFS, как я ожидал. Я получаю

FileNotFoundError: [Errno 2] No such file or directory: '/home/bigdatamgr/hdfs:/node01:8022/tmp/test/run_dev.log'

Есть ли способ достичь этой функциональности?