Как конвертировать RDD [Array [Byte]] в Array [Byte]

Question

Я немного застрял, пытаясь конвертировать RDD[Array[Byte]] в Array[Byte]. У меня есть следующее, где я сначала извлекаю RDD[Array[Byte]] из ранее определенного кортежа в виде RDD(String, Array[Byte]):

val extractArrayFromRDD: RDD[Array[Byte]] = rdd.map(t => t._2)

Тогда я действительно могу получить только первый элемент массива, как показано ниже:

val rddToBytes: Array[Byte] = extractArrayFromRDD.first()

Однако мне действительно нужно вернуться со всем массивом, но я, похоже, не могу найти способ сделать это. Есть идеи?

Спасибо

Answer 1

Не уверен, что я вас правильно понял, но если вы хотите забрать свой RDD, вы можете получить его как Array, используя

rdd.collect()

, который должен вернуть Array[Array[Byte]]. И если вы хотите, чтобы массивы были объединены в Array[Byte], вы можете использовать flatten() или что угодно, что вам нужно.