Как я могу скачать GeoMesa на Azure Databricks? - PullRequest
Новая
       65

Как я могу скачать GeoMesa на Azure Databricks?

1 голос
/ 28 октября 2019

Я заинтересован в проведении геопространственного анализа больших данных на Apache Spark. Мои данные хранятся в озере данных Azure, и я ограничен в использовании блоков данных Azure. Есть ли способ загрузить Geomesa на Databrick? Более того, я хотел бы использовать Python API;что мне делать?

Любая помощь очень ценится !!

Ответы [ 3 ]

1 голос
/ 05 ноября 2019

Вы можете установить Библиотеку GeoMesa непосредственно в кластер Databricks.

1) Выберите опцию Библиотеки, после чего откроется новое окно.

enter image description here

2) Выберите опцию maven и нажмите на опцию «поиск пакетов» next images

3) Найдите нужную библиотеку, выберите версию библиотеки / фляги и выберите опцию «выбрать».
Вот так. search the jar/library in maven repository

После установки библиотеки / jar перезапустите кластер. Теперь импортируйте необходимые классы в свой блокнот Databricks.
Надеюсь, это поможет. Счастливого кодирования ..

1 голос
/ 29 октября 2019

В качестве отправной точки, не зная никаких дополнительных подробностей, вы сможете использовать хранилище данных файловой системы GeoMesa для файлов, хранящихся в WASB.

0 голосов
/ 04 ноября 2019

Запуск GeoMesa в Databricks не прост:

  • Артефакты GeoMesa публикуются в Maven Central, но требуют зависимостей, которые доступны только в сторонних репозиториях, что является громоздким, учитывая механизм импорта библиотеки Databricks.
  • GeoMesa конфликтует с более старой версией библиотеки скалярного хранения, присутствующей во время выполнения Databricks (печально известная проблема JAR Hell).

Ссылка: Используйте GeoMesa в Databricks

Надеюсь, это поможет.

...