Как убить работу в Databricks

Question

У меня долговременная работа, и если будут выполнены определенные условия, я бы хотел ее убить. Это традиционно делается в Python, например:

if some_condition:
   exit('job failed!)

Это работает при традиционном запуске сценария Python из командной строки. Однако по причинам, которые мне не понятны, Databricks не убивает скрипт при выходе.

Как мне запрограммировать скрипт Python Databricks для автоматического прекращения выполнения при выполнении определенного условия?

Answer 1

Я думаю, это из-за того, что в общем стеке существует Python REPL, заставляющий exit () фактически не выходить из JVM, внутри которой находится Spark. Исключение, которое вы ищете для выхода из искрового задания, вероятно, SparkException - https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkException.scala

В качестве альтернативы, в Databricks вы можете использовать dbutils.notebook.exit () https://docs.databricks.com/user-guide/notebooks/notebook-workflows.html#notebook-workflows