Оценка условной функции Pyspark на основе другого столбца - PullRequest
2 голосов
/ 30 мая 2020

У меня есть образец набора данных, как показано ниже

sample_data = [('A', 'Chetna', 5, 'date_add(date_format(current_date(), \'yyyy-MM-dd\'), 7)'), 
           ('B', 'Tanmay', 6, '`date_add(date_format(current_date(), \'yyyy-MM-dd\'), 1)`'),
           ('C', 'CC', 2, '`date_add(date_format(current_date(), \'yyyy-MM-dd\'), 3)`'), 
           ('D', 'TC', 9, '`date_add(date_format(current_date(), \'yyyy-MM-dd\'), 5)`')]
df = spark.createDataFrame(sample_data, ['id', 'name', 'days', 'applyMe'])

from pyspark.sql.functions import lit
df = df.withColumn("salary", lit('days * 60'))

Я пытаюсь оценить функцию, предоставленную в столбце applyMe и salary. До сих пор пытались сделать это с помощью expr и eval, но безуспешно. Может ли кто-нибудь указать мне правильное направление для достижения желаемого результата.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...