как использовать пользовательскую реализацию udf для округления столбца - PullRequest
Новая
       56

как использовать пользовательскую реализацию udf для округления столбца

0 голосов
/ 21 февраля 2019

У меня есть фрейм данных pyspark: 

+-------------------+
|      to_return_day|
+-------------------+
|          -2.003125|
| -20.96738425925926|
| -2.332546296296296|
| -2.206770833333333|
|-2.9733564814814817|
| 54.71157407407407|
| 51.70229166666667|
|48.666354166666665|
| 9.665497685185185|
| 49.56260416666667|
| 66.68983796296297|
| 49.80550925925926|
|  66.6899074074074|

, и я хочу использовать udf для реализации округления вверх, когда "to_return_day"> 0, и округления вниз, когда "to_return_day" <0. </p>

мой код: 

from pyspark.sql.functions import udf
@udf("double")
def floor_ceil(col_day):
   if col_day > 0:
      return ceil(col_day)
   else :
       return floor(col_day)
 spark.udf.register("floor_ceil", floor_ceil)
patron_lending_time.withColumn("to_return_day_round",ceil(col("to_return_day")))\
               .show()

и мой код

введите описание изображения здесь

Почему это происходит?Как я могу это исправить?

1 Ответ

0 голосов
/ 21 февраля 2019

Возможно, я не совсем понял, что опубликовал Q OP.В соответствии с моим пониманием, выходной OP хочет, чтобы это было:

1) Для положительных значений (больше, чем равно 0, я принимаю), ближайшего интегрального значения выше этого числа, например;для 2,34 оно будет равно 3 *

2) для отрицательные значения , ближайшее интегральное значение ниже этого числа, например;для -2,34 это будет -3. 

# Creating the DataFrame
values = [(-2.003125,),(-20.96738425925926,),(-2.332546296296296,),(-2.206770833333333,),
          (-2.9733564814814817,),(54.71157407407407,),(51.70229166666667,),(48.666354166666665,),
          (9.665497685185185,),(49.56260416666667,),(66.68983796296297,),(49.80550925925926,),
          (66.6899074074074,),]
df = sqlContext.createDataFrame(values,['to_return_day',])
df.show()
+-------------------+
|      to_return_day|
+-------------------+
|          -2.003125|
| -20.96738425925926|
| -2.332546296296296|
| -2.206770833333333|
|-2.9733564814814817|
|  54.71157407407407|
|  51.70229166666667|
| 48.666354166666665|
|  9.665497685185185|
|  49.56260416666667|
|  66.68983796296297|
|  49.80550925925926|
|   66.6899074074074|
+-------------------+

Нет необходимости создавать UDF, когда достаточно простого оператора if-else. 

# Importing relevant functions
from pyspark.sql.functions import ceil, floor, when
df = df.withColumn('to_return_day',when(col('to_return_day') >=0 , ceil(col('to_return_day'))).otherwise(floor(col('to_return_day'))))
df.show()
+-------------+
|to_return_day|
+-------------+
|           -3|
|          -21|
|           -3|
|           -3|
|           -3|
|           55|
|           52|
|           49|
|           10|
|           50|
|           67|
|           50|
|           67|
+-------------+

Документация: ceil и floor

Если вы хотите использовать только UDF, будет работать следующий код. 

# Import relevant functions and packages.
from pyspark.sql.functions import udf, col
import math
# Defining a UDF
def round_udf(c):
    if c < 0:
        return math.floor(c)
    else:
        return math.ceil(c)

round_udf = udf(round_udf,IntegerType())

df = df.withColumn('to_return_day',round_udf(col('to_return_day')))
...