Spark SFTP Connector Library - сбой подключения Spark SFTP

Question

Попытка подключиться к файлу в другом кластере через SFTP, но ничего не получалось.

Текущая версия искры: '2.2.0.2.6.4.0-91.

scala: 2.11.8 '

.

Ниже приведен фрейм данных:

val df_file_feed =spark.read.format("com.springml.spark.sftp").option("host","1-1111").option("username","user").option("password","pasword").option("fileType","csv").load("/home/folder/Path_02.csv")


Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: com.springml.spark.sftp.

также пробовал эти банки.spark-sftp_2.10-1.0.2.jar spark-sftp_2.11-1.1.0.jar ,spark-sftp_2.11-1.1.4.jar

Answer 1

Если вы используете spark-shell, вы должны попробовать вот так ...

bin/spark-shell --packages com.springml:spark-sftp_2.11:1.1.3

взгляните на Spark SFTP Connector Library , которая утверждает, что

Связывание Вы можете связать эту библиотеку с вашей программой следующими способами:

Зависимость Maven

<dependency>
    <groupId>com.springml</groupId>
    <artifactId>spark-sftp_2.11</artifactId>
    <version>1.1.3</version>
</dependency>

Зависимость SBT

libraryDependencies += "com.springml" % "spark-sftp_2.11" % "1.1.3"