Как прочитать файлы всей папки в одну карту RDD в Spark?

Question

Я использую двоичные файлы для чтения файлов из HDFS, но одна карта содержит только один файл.

sparkContext.binaryFiles("hdfs://name/a/b/id-*.zzz").map(x=>{})

В фазе карты я могу иметь дело только с одним файлом. Могу ли я установить два или более файлов на одной карте и работать с ними параллельно?

Answer 1

def wholeTextFiles(
  path: String,
  minPartitions: Int = defaultMinPartitions): RDD[(String, String)] = withScope

Возвращает парный СДР, где ключом является Файл, а значением является Содержимое