Работа Spark не выполняется только при запуске через cron

Question

У меня есть задание Spark, которое прекрасно работает при локальном запуске, но мгновенно завершается с ошибкой при выполнении запланированного задания cron. Он выдает общую ошибку при ошибке при попытке подключения к серверу Java.

Исключено:

1. Проблемы с прокси
2. Переменные среды (как распечатано и сопоставлено в обоих сценариях)
3. Проблемы с Venv, которые также используются при локальном запуске

Ниже приведен полный вывод задания при работе с cron.

Теперь задание выполняется с использованием screen & sleep в качестве обходного пути и успешно завершается без каких-либо проблем.

Есть идеи?

Спасибо

  File "/home/user/anaconda2/envs/python_3.6/lib/python2.7/site-packages/pyspark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1067, in start
    self.socket.connect((self.address, self.port))
  File "/home/user/anaconda2/envs/python_3.6/lib/python2.7/socket.py", line 228, in meth
    return getattr(self._sock,name)(*args)
error: [Errno 111] Connection refused
2019-06-01 14:04:18,313:An error occurred while trying to connect to the Java server (127.0.0.1:33134)```