Создать фиктивные переменные фрейма pyspark - PullRequest
Новая
       5

Создать фиктивные переменные фрейма pyspark

0 голосов
/ 22 января 2019

У меня есть фрейм с искрой, например: 

|---------------------|------------------------------|
|       Brand         |       Model                  |
|---------------------|------------------------------|
|       Hyundai       |  Elentra,Creta               |
|---------------------|------------------------------|
|       Hyundai       |  Creta,Grand i10,Verna       |
|---------------------|------------------------------|
|       Maruti        |  Eritga,S-cross,Vitara Brezza|
|---------------------|------------------------------|
|       Maruti        |  Celerio,Eritga,Ciaz         |
|---------------------|------------------------------|

Я хочу фрейм данных, подобный этому: 

|---------------------|---------|--------|--------------|--------|---------|
|       Brand         | Model0  | Model1 | Model2       | Model3 | Model4  |
|---------------------|---------|--------|--------------|--------|---------|
|       Hyundai       | Elentra | Creta  | Grand i10    | Verna  |  null   |
|---------------------|---------|--------|--------------|--------|---------|
|       Maruti        | Ertiga  | S-Cross| Vitara Brezza| Celerio|  Ciaz   |
|---------------------|---------|--------|--------------|--------|---------|

Я использовал этот код: 

schema = StructType([
    StructField("Brand", StringType()),StructField("Model", StringType())])
tempCSV = spark.read.csv("PATH\\Cars.csv", sep='|', schema=schema)

tempDF = tempCSV.select(
        "Brand",
        f.split("Model", ",").alias("Model"),
        f.posexplode(f.split("Model", ",")).alias("pos", "val")
    )\
    .drop("val")\
    .select(
        "Brand",
        f.concat(f.lit("Model"),f.col("pos").cast("string")).alias("name"),
        f.expr("Model[pos]").alias("val")
    )\
    .groupBy("Brand").pivot("name").agg(f.first("val")).toPandas()

Но я не получаю желаемого результата. Вместо того, чтобы давать результат второй таблицы, он дает: 

|---------------------|---------|--------|--------------|
|       Brand         | Model0  | Model1 | Model2       |
|---------------------|---------|--------|--------------|
|       Hyundai       | Elentra | Creta  | Grand i10    |
|---------------------|---------|--------|--------------|
|       Maruti        | Ertiga  | S-Cross| Vitara Brezza|
|---------------------|---------|--------|--------------|

Заранее спасибо.

1 Ответ

0 голосов
/ 23 января 2019

Это происходит потому, что вы поворачиваете данные на pos, значение которого повторяется в той же группе брендов. Вы можете использовать rownumber() и повернуть данные, чтобы получить желаемый результат.

Вот пример кода поверх предоставленных вами данных. 

df = sqlContext.createDataFrame([('Hyundai',"Elentra,Creta"),("Hyundai","Creta,Grand i10,Verna"),("Maruti","Eritga,S-cross,Vitara Brezza"),("Maruti","Celerio,Eritga,Ciaz")],("Brand","Model"))

tmpDf = df.select("Brand",f.split("Model", ",").alias("Model"),f.posexplode(f.split("Model", ",")).alias("pos", "val"))

tmpDf.createOrReplaceTempView("tbl")

seqDf = sqlContext.sql("select Brand, Model, pos, val, row_number() over(partition by Brand order by pos) as rnk from tbl")

seqDf.groupBy('Brand').pivot('rnk').agg(f.first('val'))

Это приведет к следующему результату. 

+-------+-------+-------+-------+---------+-------------+----+                  
|  Brand|      1|      2|      3|        4|            5|   6|
+-------+-------+-------+-------+---------+-------------+----+
| Maruti| Eritga|Celerio|S-cross|   Eritga|Vitara Brezza|Ciaz|
|Hyundai|Elentra|  Creta|  Creta|Grand i10|        Verna|null|
+-------+-------+-------+-------+---------+-------------+----+
...