добавить префикс к элементам spark rdd - PullRequest
0 голосов
/ 27 июня 2018

В моем rdd есть два строковых элемента: «53 45 61», «0 1 2». Я хотел бы сжать и отобразить его вместе как пару ключ-значение, добавив префикс "C" к каждому из ключей

ожидаемый результат:

C53 -> 0, C45-> 1, C61-> 2 

В настоящее время это код, который я использую

val prefix = "C"

newRDD = RDD.map(x=>(prefix + (x._1.split(" ")) zip x._2.split(" "))

получение результата ниже:

53 -> 0, C45-> 1, 61-> 2 .

Что мне здесь не хватает?

1 Ответ

0 голосов
/ 27 июня 2018

вы в настоящее время добавляете свой префикс к Array(53, 45, 61) (не знал, что вы можете это сделать). Вы хотите сделать x._1.split(" ").map(prefix + _), чтобы добавить его к каждому элементу?

...