Ошибка использования встроенной функции python ** abs ** в pyspark-2.3 - PullRequest
Новая
       6

Ошибка использования встроенной функции python ** abs ** в pyspark-2.3

0 голосов
/ 20 января 2019

Я пытался преобразовать отрицательное число в положительное, используя встроенную в Python функцию abs в оболочке pyspark-2.3. 

numb = -2
print(abs(numb))

Это выдает мне странную ошибку: 

py4j.protocol.Py4JError: An error occurred while calling z:org.apache.spark.sql.functions.abs. Trace:
**py4j.Py4JException: Method abs([class java.lang.Integer]) does not exist
    at**
py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339)
    at py4j.Gateway.invoke(Gateway.java:276)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:745)

Не могли бы вы мне помочь ??

Ответы [ 2 ]

0 голосов
/ 20 января 2019

Python имеет встроенный метод abs.

pyspark также предоставляет метод abs, но для столбца DataFrame.

Если вы импортируете метод pyspark 'abs' в оболочке pyspark, тогда вы делаетепереопределить встроенный метод abs.

Похоже, у вас есть переопределить метод abs примерно так: 

>>> print(abs(-3))
3
>>> from pyspark.sql.functions import abs
>>> print(abs(-3))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/rs301t/spark-2.3.2-bin-hadoop2.7/python/pyspark/sql/functions.py", line 42, in _
    jc = getattr(sc._jvm.functions, name)(col._jc if isinstance(col, Column) else col)
  File "/Users/rs301t/spark-2.3.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
  File "/Users/rs301t/spark-2.3.2-bin-hadoop2.7/python/pyspark/sql/utils.py", line 63, in deco
    return f(*a, **kw)
  File "/Users/rs301t/spark-2.3.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 332, in get_return_value
py4j.protocol.Py4JError: An error occurred while calling z:org.apache.spark.sql.functions.abs. Trace:
py4j.Py4JException: Method abs([class java.lang.Integer]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339)
    at py4j.Gateway.invoke(Gateway.java:276)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

Мы должны избегать импорта имени функции напрямую и пытаться использовать псевдоним для модуля, так чтовызовите правильный метод, который мы намеревались.

0 голосов
/ 20 января 2019

Это не так, как вы используете pyspark.sql.functions. Они не предназначены для оценки вне контекста DataFrame и работают на Columns.

Вы можете использовать литерал Column: 

from pyspark.sql.functions import abs, lit 

abs(lit(numb))

но это даст вам еще один Column: 

Column<b'abs(-2)'>

Хотя теоретически такие объекты могут оцениваться локально , они не предназначены для публичного использования.

Если вы хотите работать с простыми числами Python, просто придерживайтесь Встроенный в Python abs.

Если вы заштриховали встроенные функции, вы можете выразить функцию из комментариев как: 

def math_result(current_val, value): 
    result = ((value - current_val) / value)  *100 
    return __builtins__.abs(__builtins__.round(result, 2)) 

math_result(1, 3)                                            
## 66.67
...