Кластер Data bricks устанавливает все пакеты при каждом запуске

Question

Я работал над записной книжкой Databricks с использованием Python / R. После того, как работа сделана, нам нужно завершить кластер, чтобы сэкономить на затратах. (Как мы используем машину).

Таким образом, мы также должны запустить кластер, если мы хотим работать на любом ноутбуке. Я видел, что это занимает много времени и снова установить пакеты в кластере. Есть ли способ избежать установки при каждом запуске кластера?

Answer 1

К сожалению, нет.

Когда вы завершаете работу кластера, его состояние памяти теряется, поэтому при его повторном запуске он получает чистый образ.Даже если вы добавите нужные пакеты в сценарий инициализации, их придется устанавливать при каждой инициализации.

Вы можете попросить службу поддержки Databricks проверить, возможно ли создать собственный кластерный образ для вас.