Как импортировать пакет xml в блоки данных

Question

Любой, кто переходит по следующим ссылкам до xml https://github.com/databricks/spark-xml

У меня просто возникают проблемы при импорте импорта com.databricks.spark.xml ._

Ошибка

Моя версия базы данных

На самом деле я также хочу знать, как установитьпакет

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-xml_2.12:0.5.0

Answer 1

Вы можете установить пакет / библиотеку, используя параметр библиотеки импорта, доступный на домашней странице databricks.

Здесь выберите параметр maven и укажите координаты maven или вы.иметь право поиска пакета также

После этого вам необходимо прикрепитьбиблиотеки в ваш кластер, перейдя Кластеры> Библиотеки.Теперь вы можете напрямую использовать эту библиотеку, как показано ниже, без ее импорта.

df = spark.read.format('com.databricks.spark.xml').options(rowTag='book').load(' /FileStore/tables/sample.xml')

Answer 2

Используйте эту зависимость в Android Studio:

// https://mvnrepository.com/artifact/com.databricks/spark-xml
compile group: 'com.databricks', name: 'spark-xml_2.12', version: '0.5.0'

Для получения дополнительной помощи перейдите по этой ссылке:

https://mvnrepository.com/artifact/com.databricks