Использование monotonically_increasing_id не даст последовательно идентификаторы (pyspark) - PullRequest
Новая
       24

Использование monotonically_increasing_id не даст последовательно идентификаторы (pyspark)

0 голосов
/ 19 июня 2019

Я хочу создать столбец ID для моего фрейма данных pyspark, у меня есть столбец A с повторяющимися числами, я хочу взять все разные значения и назначить идентификатор для каждого значения

У меня есть: 

+----+
|   A|
+----+
|1001|
|1002|
|1003|
|1001|
|1003|
|1004|
|1001|
+----+

И я хочу: 

+----+----+
|   A| new|
+----+----+
|1002|   1|
|1001|   2|
|1004|   3|
|1003|   4|
+----+----+

это мой код: 

# Libraries
import pyspark 
from pyspark.sql import SQLContext
import pandas as pd
import numpy as np
from pyspark import SparkContext
sc = SparkContext()
sqlContext = SQLContext(sc)

# Create pyspark dtaframe
df = pd.DataFrame()
df["A"] = [1001,1002,1003,1001,1003,1004,1001]
df = sqlContext.createDataFrame(df)

IDs = df.select("A").distinct()

from pyspark.sql.functions import monotonically_increasing_id 
IDs = IDs.withColumn("new", monotonically_increasing_id() )
IDs.show()

И я получаю: 

+----+-------------+
|   A|          new|
+----+-------------+
|1002| 188978561024|
|1001|1065151889408|
|1004|1511828488192|
|1003|1623497637888|
+----+-------------+

Но этодолжно быть: 

+----+----+
|   A| new|
+----+----+
|1002|   1|
|1001|   2|
|1004|   3|
|1003|   4|
+----+----+

Почему я получаю такой результат?

1 Ответ

0 голосов
/ 20 июня 2019

monotonically_increasing_id гарантированно будет монотонно увеличивающимся и уникальным, , но не последовательным .Вы можете перейти с функцией row_number() вместо monotonically_increasing_id, которая даст результат вашего желания более эффективно.

>>> from pyspark.sql.window import Window
>>> from pyspark.sql.functions import row_number, lit

// lit to keep everything in one partition
>>> w = Window.partitionBy(lit(1)).orderBy("A")
>>> df.show()
+----+
|   A|
+----+
|1001|
|1003|
|1001|
|1004|
|1005|
|1003|
|1005|
|1003|
|1006|
|1001|
|1002|
+----+

>>> df1 =  df.select("A").distinct().withColumn("ID", row_number().over(w))
>>> df1.show()
+----+---+
|   A| ID|
+----+---+
|1001|  1|
|1002|  2|
|1003|  3|
|1004|  4|
|1005|  5|
|1006|  6|
+----+---+
...