используйте ftp url для загрузки фрейма данных с использованием коннектора spark-sftp - PullRequest
Новая
       12

используйте ftp url для загрузки фрейма данных с использованием коннектора spark-sftp

0 голосов
/ 27 апреля 2019

ссылка: https://github.com/springml/spark-sftp

// Construct Spark dataframe using file in FTP server
val df = spark.read.
        format("com.springml.spark.sftp").
        option("host", "SFTP_HOST").
        option("username", "SFTP_USER").
        option("password", "****").
        option("fileType", "csv").
        option("delimiter", ";").
        option("quote", "\"").
        option("escape", "\\").
        option("multiLine", "true").
        option("inferSchema", "true").
        load("/ftp/files/sample.csv")

// Write dataframe as CSV file to FTP server
df.write.
  format("com.springml.spark.sftp").
  option("host", "SFTP_HOST").
  option("username", "SFTP_USER").
  option("password", "****").
  option("fileType", "csv").
  option("delimiter", ";").
  option("codec", "bzip2").
  save("/ftp/files/sample.csv")

Этот фрагмент кода использует протокол sftp, путь к которому отличается от протокола ftp. Если я пытаюсь получить доступ к ftp из браузера, URL-адрес « ftp: //host/files/sample.csv». Обратите внимание, что перед папкой не существует "/ ftp". Путь к папке / файлу начинается с файлов, а не с ftp. Этот формат используется в клиентах ftp в java. Можно ли как-нибудь заставить этот разъем работать на этом разъеме.

Заранее спасибо

...