UDF и функция Python в Pyspark - PullRequest
Новая
       30

UDF и функция Python в Pyspark

0 голосов
/ 05 декабря 2018

У меня есть датафрейм в Pyspark как: 

listA = [(1,'AAA','USA'),(2,'XXX','CHN'),(3,'KKK','USA'),(4,'PPP','USA'),(5,'EEE','USA'),(5,'HHH','THA')]
df = spark.createDataFrame(listA, ['id', 'name','country'])

, и я создал словарь как: 

thedict={"USA":"WASHINGTON","CHN":"BEIJING","DEFAULT":"KEY NOT FOUND"}

, а затем я создал UDF, чтобы получить соответствующие значения ключа изсловарь. 

def my_func(letter):
    if(thedict.get(letter) !=None):
        return thedict.get(letter)
    else:
        return thedict.get("DEFAULT")

Я получаю ниже ошибку при попытке вызвать функцию как: 

df.withColumn('CAPITAL',my_func(df.country))

  File "<stdin>", line 1, in <module>
  File "/usr/hdp/current/spark2-client/python/pyspark/sql/dataframe.py", line 1848, in withColumn
    assert isinstance(col, Column), "col should be Column"
AssertionError: col should be Column

В то время как если я встроил его с помощью pyspark.sql.functions, он работает нормально. 

from pyspark.sql.functions import col, udf
udfdict = udf(my_func,StringType())

df.withColumn('CAPITAL',udfdict(df.country)).show()

+---+----+-------+-------------+
| id|name|country|      CAPITAL|
+---+----+-------+-------------+
|  1| AAA|    USA|   WASHINGTON|
|  2| XXX|    CHN|      BEIJING|
|  3| KKK|    USA|   WASHINGTON|
|  4| PPP|    USA|   WASHINGTON|
|  5| EEE|    USA|   WASHINGTON|
|  5| HHH|    THA|KEY NOT FOUND|
+---+----+-------+-------------+

Я не мог понять, в чем разница между этими двумя вызовами?

1 Ответ

0 голосов
/ 05 декабря 2018

Функции UDF обладают особыми свойствами, заключающимися в том, что они принимают столбец / столбцы и применяют логику по строкам для создания нового столбца.в то время как обычная функция python принимает только один дискретный аргумент и выдает один вывод.

И в этом суть ошибки.Возвращаемое значение из функции не является столбцом

assert isinstance (col, Column), «col должно быть столбцом»

Вы можете определить udf двумя способами:

  1. myudf = udf (LAMBDA_EXPRESSION, RETURN_TYPE)
  2. myudf = udf (CUSTOM_FUNCTION, RETURN_TYPE)
...