Если у вас есть несколько человек, использующих ноутбуки Zeppelin (0.7.3) для создания прототипов в кластере, вы можете получить множество процессов-зомби в драйвере.
Пример того, как это выглядит, приведен здесь:
[username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin
...
username 15163 0.0 0.0 783244 112076 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-294731840633169153.py 46864 10603
username 16364 0.0 2.3 4637180 2859000 ? Sl Aug29 1:30 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-4967700381049549623.py 34141 10603
username 17328 0.0 0.0 572336 68892 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5558242373873465119.py 43031 10603
username 23360 0.3 0.2 1029820 347676 ? Sl 17:37 0:35 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5094022153210101706.py 35280 10603
username 26414 0.0 0.0 571972 68624 ? Sl Aug29 0:14 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-1324142653437864728.py 46682 10603
username 28850 0.0 0.0 572332 68804 ? Sl 19:23 0:01 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-6914433048347435534.py 34529 10603
...
Вы можете видеть, что они накапливаются со временем. Большинству из них потребовалась всего одна или две минуты процессорного времени, но они не уходят. Со временем я видел, как они жуют 10% или более доступной памяти.
Откуда они? Что не в состоянии очистить их? Есть ли что-нибудь (кроме процесса-убийства cron-job), что я могу сделать, чтобы устранить их?