UnsupportedFileSystemException при попытке записи в hdfs через webhdfs в дельта-формате - PullRequest
Новая
       139

UnsupportedFileSystemException при попытке записи в hdfs через webhdfs в дельта-формате

2 голосов
/ 25 марта 2020

Я хочу записать данные в дельта-формате в hdfs, который доступен через webhdfs. Запись в формате паркета работает как талисман, но когда я устанавливаю формат delta, я получаю следующую ошибку

20/03/25 18:12:18 WARN DeltaLog: Не удалось проанализировать webhdfs: // somethingsomething : 50070 / разработка / deltaTest / _delta_log / _last_checkpoint. Это может произойти, если во время операции чтения произошла ошибка или файл кажется неполным. Спать и снова пытаться. org. apache .had oop .fs.UnsupportedFileSystemException: нет AbstractFileSystem для схемы: webhdfs

Код в настоящее время выглядит следующим образом: 

val connectionString = s"webhdfs://somethingsomething:50070/development/deltaTest"
val conf = new SparkConf().setMaster("local[*]").setAppName("webhdfs test")

val spark = SparkSession.builder().config(conf).getOrCreate()
spark.sparkContext.setLogLevel("WARN")
import spark.implicits._
val data = spark.range(0,5)
data
  .write
  .format("delta")
  .mode(SaveMode.Overwrite)
  .save(connectionString)

Возможно ли это сделать это с дельта форматом?

...