Как удалить библиотеки, уже удаленные из рабочей области Azure Databricks

Question

После удаления библиотеки jar, добавленной с выбором «Установить автоматически на всех кластерах», библиотека все еще автоматически устанавливается на все кластеры в рабочей области. Мне нужно удалить или отключить режим автоматической установки библиотеки.

Я импортировал библиотеку из Maven в свое рабочее пространство Azure Databricks. Как только вышла новая версия, я добавил новую версию и просто удалил банку старой версии из рабочей области.

Старая версия была добавлена ​​в рабочую область с поведением «Установить автоматически на все кластеры» и все еще устанавливается на все новые кластеры, созданные в рабочей области, даже если файл jar отсутствует в графическом интерфейсе. Поскольку jar отсутствует (из графического интерфейса), я не могу изменить поведение jar «Установить автоматически на все кластеры», и Databricks не позволяет вручную отключать автоматически установленные библиотеки из кластера (из представления кластера).

Я попытался прочитать ту же библиотеку (ту же версию) из Maven central и установить новый jar в кластер, чтобы посмотреть, не нарушит ли это старую установку, надеясь, что смогу изменить поведение таким образом. К сожалению, когда я пытаюсь добавить недавно загруженную версию в кластер с уже установленной библиотекой, установка застревает на неопределенный срок.

Любые идеи о том, как это исправить, не настраивая новое рабочее пространство, были бы великолепны.

Answer 1

Это ошибка в Databricks (и похоже, что она существует уже давно!). Если вы установили флажок Автоустановка на всех кластерах, а затем удалили общие библиотеки, он установит его на все новые кластеры и не может быть удален.

Чтобы удалить его, перейдите в Общее рабочее пространство и создайте новую библиотеку. Введите точно такой же пакет и нажмите «Создать». На следующем экране теперь можно снять флажок «Автоматически устанавливать на все кластеры» и удалить его из кластеров, где он уже установлен. Затем вы можете переместить новую библиотеку в корзину.

Престижность этого поста на форумах Databricks для выяснения этого: https://forums.databricks.com/questions/16400/remove-auto-install-library-thats-already-been-del.html

Answer 2

Пара вариантов. Сначала проверьте вкладку «Библиотека» в кластерах и посмотрите, сможете ли вы удалить ее оттуда. Если не открыть блокнот и запустить:

%fs ls "/FileStore/jars/

Здесь кешируются библиотеки. Если вы можете определить, какая из них является вашей библиотекой, вы можете удалить ее и перезапустить кластер.