Расширенное объединение двух датафреймов Spark Scala - PullRequest
Новая
       27

Расширенное объединение двух датафреймов Spark Scala

0 голосов
/ 16 декабря 2018

Мне нужно объединить два Dataframes.

Пример: Dataframe1 выглядит следующим образом 

df1_col1      df1_col2
   a            ex1
   b            ex4
   c            ex2
   d            ex6
   e            ex3

Dataframe2 

df2_col1      df2_col2
   1           a,b,c
   2           d,c,e
   3           a,e,c

В результате Dataframe я хотел бы получить результатвот так 

res_col1      res_col2       res_col3
    a           ex1             1
    a           ex1             3
    b           ex4             1
    c           ex2             1
    c           ex2             2
    c           ex2             3
    d           ex6             2
    e           ex3             2
    e           ex3             3

Каким будет лучший способ добиться этого соединения?

Ответы [ 3 ]

0 голосов
/ 19 декабря 2018

Я использовал Spark SQL для этого соединения, вот часть кода; 

df1.createOrReplaceTempView("temp_v_df1")
df2.createOrReplaceTempView("temp_v_df2")
val df_result = spark.sql("""select 
                    |   b.df1_col1 as res_col1, 
                    |   b.df1_col2 as res_col2, 
                    |   a.df2_col1 as res_col3  
                    |   from (select df2_col1, exp_col 
                    |         from temp_v_df2 
                    |        lateral view explode(split(df2_col2,",")) dummy as exp_col) a
                    |   join temp_v_df1 b on a.exp_col = b.df1_col1""".stripMargin)
0 голосов
/ 07 марта 2019

Я использовал фрейм данных spark scala для получения желаемого результата. 

val df1 = sc.parallelize(Seq(("a","ex1"),("b","ex4"),("c","ex2"),("d","ex6"),("e","ex3"))).toDF("df1_col1","df1_col2") 

val df2 = sc.parallelize(Seq((1,("a,b,c")),(2,("d,c,e")),(3,("a,e,c")))).toDF("df2_col1","df2_col2") 

df2.withColumn("_tmp", explode(split($"df2_col2", "\\,"))).as("temp").join (df1,$"temp._tmp"===df1("df1_col1"),"inner").drop("_tmp","df2_col2").show

Желание вывода 

+--------+--------+--------+
|df2_col1|df1_col1|df1_col2|
+--------+--------+--------+
|       2|       e|     ex3|
|       3|       e|     ex3|
|       2|       d|     ex6|
|       1|       c|     ex2|
|       2|       c|     ex2|
|       3|       c|     ex2|
|       1|       b|     ex4|
|       1|       a|     ex1|
|       3|       a|     ex1|
+--------+--------+--------+

Переименуйте столбец в соответствии с вашими требованиями.

Вот скриншот работающего кода

enter image description here Happy Hadoooooooooooooooppppppppppppppppppp

0 голосов
/ 16 декабря 2018

Я обновил код ниже 

val df1 = sc.parallelize(Seq(("a","ex1"),("b","ex4"),("c","ex2"),("d","ex6"),("e","ex3")))
val df2 = sc.parallelize(Seq(List(("1","a,b,c"),("2","d,c,e")))).toDF
df2.withColumn("df2_col2_explode", explode(split($"_2", ","))).select($"_1".as("df2_col1"),$"df2_col2_explode").join(df1.select($"_1".as("df1_col1"),$"_2".as("df1_col2")), $"df1_col1"===$"df2_col2_explode","inner").show

Вам просто нужно разделить значения и сгенерировать несколько строк, взорвав их, а затем объединить с другим фреймом данных.

Вы можете сослаться на этоссылка, Как разбить столбец, разделенный трубами, на несколько строк?

...