Как заставить cURL работать в кластере Databricks?

Question

У меня ноутбук работает на кластере в Databricks. Я пытаюсь загрузить файл .jar из архива в Интернете с помощью команды:

$sh curl -k -O https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/hive/hive-jdbc/2.1.1-mapr-1803/hive-jdbc-2.1.1-mapr-1803.jar

Когда я запускаю его на локальном компьютере, он работает нормально, и файл .jar успешно загружается. Когда я запускаю его на Databricks, он работает бесконечно, никогда не загружая никаких данных. Вывод выглядит так:

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:03 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:05 --:--:--     0

Как мне преодолеть это и успешно загрузить файл в мой кластер?

Answer 1

Я могу загрузить файл jar в блоки данных без каких-либо проблем.

Вы можете попробовать следующие варианты загрузки файла jar в блоках данных:

Option1: По умолчанию Curl не выполняет перенаправления. Чтобы сказать это, добавьте аргумент -L:

%sh curl  -L -k -O https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/hive/hive-jdbc/2.1.1-mapr-1803/hive-jdbc-2.1.1-mapr-1803.jar

Если вы все еще сталкиваетесь с той же проблемой, вы можете использовать "wget "option.

Примечание: На высоком уровне и wget, и curl являются утилитами командной строки, которые делают одно и то же.

Option2: Следующий пример загружает файл и сохраняет его под тем же именем, что и удаленный сервер.

%sh wget https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/hive/hive-jdbc/2.1.1-mapr-1803/hive-jdbc-2.1.1-mapr-1803.jar --no-check-certificate