Создание таблицы с использованием Apache Spark в формате delta застряло - PullRequest
3 голосов
/ 31 мая 2019

Я хочу создать таблицу с использованием дельта-местоположения, но мой процесс застрял.

spark.sql("CREATE TABLE bronze_table USING DELTA LOCATION 'dbfs:/mnt/poc-databricks-folder/bronze/delta'")

... Рабочая команда

Процесс не завершен, я запустил его 24 часа назад, и он все еще находится в "Запуск команды". У меня запущено потоковое задание, которое без проблем сохраняет дельта-формат в пути.

enter image description here

Я вижу каталог искр. enter image description here

Моя проблема в том, что процесс создания таблицы с использованием предыдущего пути застрял, и я хотел бы знать причину. Я попытался перезапустить кластер, удалить все из папки, удалить базы данных, удалить таблицы, но у меня та же проблема.

enter image description here

...