Проблемы с dbutils.notebook.run в Azure Databricks

Question

Я получаю сообщение об ошибке при попытке сделать следующее. Я понятия не имею, что это может быть ...

jobStartTime = datetime.strftime(datetime.now(), "%Y-%m-%dT%H:%M:%S%Z")
dbutils.notebook.run("/yptoCommon/LogPowerBI", 60, { "jobStartTime": jobStartTime, "NoteBook": "Oeps", "AllFiles": "10", "ProcessedFiles": "5", "NewRecords": "1" })

Я получаю ошибку.

com.databricks.WorkflowException: com.databricks.NotebookExecutionException: FAILED --------------------------------------------------------------------------- Py4JJavaError Traceback (most recent call last) <command-4345148969112219> in <module> 1 jobStartTime = datetime.strftime(datetime.now(), "%Y-%m-%dT%H:%M:%S%Z") ----> 2dbutils.notebook.run("/yptoCommon/LogPowerBI", 60, { "jobStartTime": jobStartTime, "NoteBook": "Oeps", "AllFiles": "10", "ProcessedFiles": "5", "NewRecords": "1" })
/local_disk0/tmp/1583836135359-0/dbutils.py in run(self, path, timeout_seconds, arguments, NotebookHandlerdatabricks_internal_cluster_spec) 134 arguments, 135 databricks_internal_cluster_spec, --> 136 self.shell.currentJobGroup) 137 138 def repr_(self):

/databricks/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py in call(self, *args) 1255 answer = self.gateway_client.send_command(command) 1256 return_value = get_return_value( -> 1257 answer, self.gateway_client, self.target_id, self.name) 1258 1259 for temp_arg in temp_args:

/databricks/spark/python/pyspark/sql/utils.py in deco(a, *kw)

Любая помощь приветствуется.

Answer 1

Согласно моему репро, вот мое наблюдение по вышеуказанному вопросу.

Вы получите это сообщение об ошибке, когда у вас есть любые ошибки в выполнении любых клеток в тетради. Необходимо исправить ошибки в ячейке и использовать «dbutils.notebook.run» для запуска записной книжки.

Пример 1: записная книжка с ошибкой при выполнении ячейки

Здесь у меня есть записная книжка с именем «notebook2», в которой отображается сообщение об ошибке при выполнении ячейки, как показано ниже:

Когда я запустите записную книжку с помощью «dbutils.notebook.run», я увижу то же сообщение об ошибке, что и у вас, потому что в записной книжке произошла ошибка при выполнении ячейки.

Пример 2. Успешно выполнить блокнот без проблем

Теперь вернемся к «notebook2», я удалю ячейку с сообщением об ошибке.

Когда я выполню код с помощью "dbutils.notebook.run", я смогу успешно выполнить команду без каких-либо проблем.