Как заставить cURL работать в кластере Databricks? - PullRequest
Новая
       10

Как заставить cURL работать в кластере Databricks?

0 голосов
/ 17 апреля 2020

У меня ноутбук работает на кластере в Databricks. Я пытаюсь загрузить файл .jar из архива в Интернете с помощью команды: 

$sh curl -k -O https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/hive/hive-jdbc/2.1.1-mapr-1803/hive-jdbc-2.1.1-mapr-1803.jar

Когда я запускаю его на локальном компьютере, он работает нормально, и файл .jar успешно загружается. Когда я запускаю его на Databricks, он работает бесконечно, никогда не загружая никаких данных. Вывод выглядит так: 

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:03 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:05 --:--:--     0

Как мне преодолеть это и успешно загрузить файл в мой кластер?

1 Ответ

0 голосов
/ 28 апреля 2020

Я могу загрузить файл jar в блоки данных без каких-либо проблем.

enter image description here

Вы можете попробовать следующие варианты загрузки файла jar в блоках данных:

Option1: По умолчанию Curl не выполняет перенаправления. Чтобы сказать это, добавьте аргумент -L: 

%sh curl  -L -k -O https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/hive/hive-jdbc/2.1.1-mapr-1803/hive-jdbc-2.1.1-mapr-1803.jar

enter image description here

Если вы все еще сталкиваетесь с той же проблемой, вы можете использовать "wget "option.

Примечание: На высоком уровне и wget, и curl являются утилитами командной строки, которые делают одно и то же.

Option2: Следующий пример загружает файл и сохраняет его под тем же именем, что и удаленный сервер. 

%sh wget https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/hive/hive-jdbc/2.1.1-mapr-1803/hive-jdbc-2.1.1-mapr-1803.jar --no-check-certificate

enter image description here

...