Вопрос касается спарка 1.6
Когда кадр данных записывается в HDFS в режиме SaveMode.APPEND, я хочу знать, какие файлы были созданы новыми.
Способ сделать это - отслеживатьфайлов в HDFS до и после работы, есть ли лучший способ?
Кроме того, Map-Reduce печатает статистику работы в конце, есть ли у нас что-то подобное для каждого искрового действия.