Добавьте отдельные столбцы значения кортежа в Spark RDD с помощью Pyspark - PullRequest
0 голосов
/ 12 апреля 2019

СДР выглядит следующим образом:

[(u'1400-1459', (u'3.00', u'19.00')), (u'1200-1259', (u'3.00', u'9.00')), (u'1200-1259', (u'3.00', u'12.00')), (u'1100-1159', (u'3.00', u'14.00')), (u'1400-1459', (u'3.00', u'9.00'))]

Я хочу добавить отдельные столбцы из значения для каждого ключа, чтобы выходные данные выглядели так:

[(u'1400-1459', (u'6.00', u'28.00')), (u'1200-1259', (u'6.00', u'21.00')), (u'1100-1159', (u'3.00', u'14.00'))]

Попытка команды ниже, но она висит навсегда

output =  joinedData.reduceByKey(lamdba x,y : (x[0] + y[0], x[1] + y[1]))

Спасибо за ваше время и помощь.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...