Копирование avro jars в каталог docker jars

Question

Я изучаю искру. Я хотел бы использовать файл данных avro, поскольку avro является внешним по отношению к искре. Я скачал банку. Но моя проблема в том, как скопировать его в указанное c место 'jars dir' в моем контейнере? Я прочитал соответствующий пост здесь, но я не понимаю.

Я также вижу эту команду ниже с основного сайта Spark, но я думаю, что мне нужно скопировать JAR-файл перед его запуском.

./bin/spark-shell --packages org.apache.spark:spark-avro_2.XX:X.X.X ...

Я попробовал

docker cp /Users/username/Downloads/spark-avro_2.11-2.4.5.jar docker-spark_master_1:/jars

но это не работает. заранее спасибо

Примечание: я использую контейнер spark 2.4 с работником и мастером.

Answer 1

Цитирование docker cp Документация ,

docker cp SRC_PATH CONTAINER:DEST_PATH

Если SRC_PATH указывает файл, а DEST_PATH не существует, то файл сохраняется в файл, созданный в DEST_PATH

Из команды, которую вы пробовали,

Путь назначения /jars не существует в контейнере, поскольку фактический пункт назначения должен был быть /usr/spark-2.4.1/jars/. Таким образом, jar был скопирован в контейнер с именем jars в каталоге root (/).

Попробуйте вместо этого использовать эту команду, чтобы добавить банку в банку с искрой,

docker cp /Users/username/Downloads/spark-avro_2.11-2.4.5.jar docker-spark_master_1:/usr/spark-2.4.1/jars/