Можем ли мы переместить данные в Vertica, используя Spark и не используя hadoop в качестве промежуточной среды?

Question

Я пытаюсь передавать данные в spark и загружать их в vertica. В каждой статье, о которой я говорю, рассказывается о наличии hdf для первого сохранения данных из DF или RDD, есть ли способ перемещения данных без использования Hadoop и каких-либо дополнительных данныххранение

Answer 1

Не с Vertica Connector для Apache Spark , к сожалению, этот коннектор требует, чтобы данные сначала записывались в HDFS.

Вы можете сохранить напрямую в таблицу соединений JDBC из Spark с помощью df.write().

import org.apache.spark.sql.{SQLContext, SaveMode}

df.write
  .mode(SaveMode.Append)
  .format("jdbc")
  .option("url", "jdbc:vertica://vertica:5433/database")
  .option("dbtable", "schema.table")
  .option("user", "dbadmin")
  .option("password", "password")
  .save()

Это сработало для меня при использовании Spark версии 2.2.1.Вертикаль версия 9.1.