Как преобразовать преобразование списка юникода, содержащегося в столбце pyspark, в фрейм-лист? - PullRequest
Новая
       6

Как преобразовать преобразование списка юникода, содержащегося в столбце pyspark, в фрейм-лист?

0 голосов
/ 21 января 2019

Я создал фрейм данных, как показано 

   import ast
   from pyspark.sql.functions import udf
   values = [(u'['2','4','713',10),(u'['12','245']',20),(u'['101','12']',30)]
   df = sqlContext.createDataFrame(values,['list','A'])
   df.show()
   +-----------------+---+
   |             list|  A|
   +-----------------+---+
   |u'['2','4','713']| 10|
   |  u' ['12','245']| 20|
   |  u'['101','12',]| 30|
   +-----------------+---+

**How can I convert the above dataframe such that each element in the list is a float and is within a proper list**
I tried the below one :

   def df_amp_conversion(df_modelamp):
      string_list_to_list = udf(lambda row: ast.literal_eval(str(row)))
      df_modelamp  = df_modelamp.withColumn('float_list',string_list_to_list(col("list")))

   df2 = amp_conversion(df)

Но данные остаются без изменений. Я не хочу преобразовывать фрейм данных в панды или использовать метод сбора данных, так как он требует много памяти. И, если возможно, попытайтесь дать мне оптимальное решение. Я использую pyspark

Ответы [ 2 ]

0 голосов
/ 21 января 2019

Я могу создать истинный результат в Python 3 с небольшим изменением в определении функции df_amp_conversion.Вы не вернули значение df_modelamp!Этот код работает для меня правильно: 

import ast
from pyspark.sql.functions import udf, col
values = [(u"['2','4','713']",10),(u"['12','245']",20),(u"['101','12']",30)]

df = sqlContext.createDataFrame(values,['list','A'])


def df_amp_conversion(df_modelamp):
    string_list_to_list = udf(lambda row: ast.literal_eval(str(row)))
    df_modelamp  = df_modelamp.withColumn('float_list',string_list_to_list(col("list")))
    return df_modelamp

df2 = df_amp_conversion(df)
df2.show()

#    +---------------+---+-----------+
#    |           list|  A| float_list|
#    +---------------+---+-----------+
#    |['2','4','713']| 10|[2, 4, 713]|
#    |   ['12','245']| 20|  [12, 245]|
#    |   ['101','12']| 30|  [101, 12]|
#    +---------------+---+-----------+
0 голосов
/ 21 января 2019

Это потому что вы забыли про тип 

udf(lambda row: ast.literal_eval(str(row)), "array<integer>")

Хотя что-то вроде этого было бы более эффективным: 

from pyspark.sql.functions import rtrim, ltrim, split 

df = spark.createDataFrame(["""u'[23,4,77,890,4]"""], "string").toDF("list")

df.select(split(
    regexp_replace("list", "^u'\\[|\\]$", ""), ","
).cast("array<integer>").alias("list")).show()

# +-------------------+
# |               list|
# +-------------------+
# |[23, 4, 77, 890, 4]|
# +-------------------+
...