saveAsTextFile в Spark с заголовком на каждой части файла?

Question

Я хочу добавить заголовок к каждому файлу детали, созданному saveAsTextFile. Один из способов сделать это - использовать mapPartitionsWithIndex вместо saveAsTextFile и записывать содержимое в каждый файл детали самостоятельно, добавляя заголовок к каждому из этих файлов. Но есть ли более элегантный способ сделать это?

Answer 1

Примерно так: если вам нужен индекс раздела, вы можете использовать mapPartitionsWithIndex вместо:

rdd
  .mapPartitions(it => Iterator(Iterator("my header"), it).flatten)
  .saveAsTextFile