Я использую потоковую передачу искры и хочу сохранить каждую партию потоковой передачи искры в своем локальном формате в формате Avro.Я использовал saveAsNewAPIHadoopFile для сохранения данных в формате Avro.Это хорошо работает.Но это перезаписывает существующий файл.Данные следующей партии перезапишут старые данные.Есть ли способ сохранить файл Avro в общем каталоге?Я попытался, добавив некоторые свойства Hadoop задания conf для добавления префикса в имя файла.Но не работает никаких свойств.
dstream.foreachRDD {
rdd.saveAsNewAPIHadoopFile(
path,
classOf[AvroKey[T]],
classOf[NullWritable],
classOf[AvroKeyOutputFormat[T]],
job.getConfiguration()
)
}