Итак, я хочу предоставить пользовательский образ docker для нашего кластера баз данных, который будет работать. Я попытался просмотреть примеры и документацию на веб-сайте Databrick, а также на github (здесь: https://docs.databricks.com/clusters/custom-containers.html и здесь: https://github.com/databricks/containers), но не смог определить, куда можно зайти пользовательский jar внутри контейнера, такой, чтобы он был распознан кластером.
Все, что делает мой текущий пользовательский контейнер, это следующее
FROM databricksruntime/standard:latest
COPY target/scala-2.11/some.artifact.jar /container-jars/some.artifact.jar
Я также пытался скопировать jar в Папка dbfs в кирпичах данных в надежде использовать метод установки в пользовательском интерфейсе безрезультатно. Однако, похоже, что /dbfs/! = dbfs:/ не сработало
Любые идеи были бы очень полезными. Спасибо!