Объедините два разных RDD с двумя разными наборами данных, но одним и тем же ключом - PullRequest
Новая
       7

Объедините два разных RDD с двумя разными наборами данных, но одним и тем же ключом

2 голосов
/ 01 октября 2019

RDD_1 содержит строки, подобные следующим: 

(u'id2875421', 2, datetime.datetime(2016, 3, 14, 17, 24, 55), datetime.datetime(2016, 3, 14, 17, 32, 30), 1, -73.9821548461914, 40.76793670654297, -73.96463012695312, 40.765602111816406, u'N', 455)

RDD_2 содержит строки, подобные следующим: 

(u'id2875421', 1.9505895451732258)

Я пытаюсь получить rdd в виде

(u'id2875421', 2, datetime.datetime(2016, 3, 14, 17, 24, 55), datetime.datetime(2016, 3, 14, 17, 32, 30), 1, 1.9505895451732258, u'N', 455)

Поэтому я пытаюсь заменить столбцы местоположения столбцом расстояния.

rdd1.join (rdd2) дает мне: 

(u'id1585324', (1, 0.9773030754631484))

и rdd1.union (rdd2) дает мне: 

(u'id2875421', 2, datetime.datetime(2016, 3, 14, 17, 24, 55), datetime.datetime(2016, 3, 14, 17, 32, 30), 1, -73.9821548461914, 40.76793670654297, -73.96463012695312, 40.765602111816406, u'N', 455)

1 Ответ

2 голосов
/ 02 октября 2019

IIUC, просто преобразуйте первый RDD в парный RDD и затем присоединитесь: 

rdd1.keyBy(lambda x: x[0]) \
    .join(rdd2) \
    .map(lambda x: x[1][0][:5] + (x[1][1],) + x[1][0][9:]) \
    .collect()

#[(u'id2875421',
#  2,
#  datetime.datetime(2016, 3, 14, 17, 24, 55),
#  datetime.datetime(2016, 3, 14, 17, 32, 30),
#  1,
#  1.9505895451732258,
#  u'N',
#  455)]

Здесь я использую функцию keyBy () для преобразования x [0] из rdd1 , чтобы ввести ключ и исходный элемент в качестве значения, затем присоединитесь к rdd2 и используйте функцию map (), чтобы выбрать то, что вы хотите в конечном кортеже.

...