Я хочу вывести SparkMetrics в сток CSV.Я настроил metrics.properties следующим образом:
driver.sink.csv.class=org.apache.spark.metrics.sink.CsvSink
*.sink.csv.period=1
*.sink.csv.unit=minutes
*.sink.csv.directory=/metrics/
Я ожидаю, что Spark создаст каталог /metrics/
в рабочем каталоге, но выглядит так:
- трактует путь к каталогу как абсолютный путь
не удается создать и выдает ошибку:
java.io.IOException: Нет такого файла или каталога в java.io.UnixFileSystem.createFileExclusively (собственный метод)