Как заставить Spark создать метрическую директорию sink.csv.directory? - PullRequest
0 голосов
/ 28 февраля 2019

Я хочу вывести SparkMetrics в сток CSV.Я настроил metrics.properties следующим образом:

driver.sink.csv.class=org.apache.spark.metrics.sink.CsvSink
*.sink.csv.period=1
*.sink.csv.unit=minutes
*.sink.csv.directory=/metrics/

Я ожидаю, что Spark создаст каталог /metrics/ в рабочем каталоге, но выглядит так:

  1. трактует путь к каталогу как абсолютный путь
  2. не удается создать и выдает ошибку:

    java.io.IOException: Нет такого файла или каталога в java.io.UnixFileSystem.createFileExclusively (собственный метод)

...