Как добавить банки со спарк-оболочкой? - PullRequest
Новая
       14

Как добавить банки со спарк-оболочкой?

0 голосов
/ 21 апреля 2020

Я попробовал с этими методами ниже: 

>>./spark-shell –-jars /home/my_path/my_jar.jar

и внутри оболочки, я попытался импортировать пакет: 

scala> import com.vertica.spark._
<console>:23: error: object vertica is not a member of package com
       import com.vertica.spark._

Это не работает, а также я попытался удалить sla sh (/) с пути кувшина 

>>./spark-shell –-jars home/my_path/my_jar.jar

Это все то же самое ... хотя было предупреждение 

20/04/21 22:34:40 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://ubuntu:4040
Spark context available as 'sc' (master = local[*], app id = local-1587488711233).
Spark session available as 'spark'.
Welcome to

Но с другой стороны, если я go внутри оболочки и попытайтесь добавить require с тем же путем jar, затем он успешно импортирует: 

scala> :require /home/my_path/my_jar.jar
Added '/home/my_path/my_jar.jar' to classpath.

scala> import com.vertica.spark._
import com.vertica.spark._

Чего мне не хватает при добавлении jar с самой spark-shell?

1 Ответ

0 голосов
/ 26 апреля 2020

Эта проблема может быть связана с oop собственной проблемой, попробуйте ниже исходного bashr c, у вас все будет хорошо. 

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

и 

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH
...