Почему функция exp не работает в pyspark?

Question

Я пытаюсь рассчитать коэффициенты крысы ios из коэффициентов регрессии logisti c, но я столкнулся с проблемой, которую лучше всего суммировать с помощью этого кода:

import pyspark.sql.functions as F 
F.exp(1.2)

Это не с py4j.Py4JException: Method exp([class java.lang.Double]) does not exist

Целое число завершается аналогично. Я не понимаю, как Double может вызвать проблемы для функции exp?

Answer 1

Если вы посмотрите на документацию для pyspark.sql.functions.exp(), она принимает ввод объекта col. Следовательно, он не будет работать для значения с плавающей запятой, такого как 1.2.

. Создайте фрейм данных или Column объект, который вы можете использовать в F.exp()

Пример будет:

df = df.withColumn("exp_x", F.exp(F.col("some_col_named_x")))