Почему pySpark не может запускать только функции udf? - PullRequest
Новая
       35

Почему pySpark не может запускать только функции udf?

0 голосов
/ 02 октября 2019

Я настроил pyspark на машине EC2 с двумя узлами. Я запускаю pyspark с помощью команды 

 pyspark --master spark://10.0.1.13:7077 --driver-memory 5G --executor-memory 12G --total-executor-cores 10

Мой скрипт Python не работает специально только при выполнении функций UDF. Я не могу отладить, почему только udf, а не какая-либо другая часть скрипта или почему не для полного скрипта?

ПУТИ: 

(base) [ec2-user@ip-10-0-1-13 ~]$ which pyspark
~/anaconda2/bin/pyspark
(base) [ec2-user@ip-10-0-1-13 ~]$ which python
~/anaconda2/bin/python

Скрипт Python: 

def getDateObjectYear(dateString):
    dateString=dateString.strip()
    return dateString

dateObjectUDFYear = udf(getDateObjectYear)

checkin_date_yelp_df=checkin_date_yelp_df.withColumn('year', dateObjectUDFYear(checkin_date_yelp_df.date))

При запуске checkin_date_yelp_df.show(5) 'я получаю эту ошибку 

Py4JJavaError: An error occurred while calling o98.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 14.0 failed 4 times, most recent failure: Lost task 0.3 in stage 14.0 (TID 230, 10.0.1.13, executor 0): java.io.IOException: Cannot run program "~/anaconda2/bin/python": error=2, No such file or directory
..
..
..
..
Caused by: java.io.IOException: error=2, No such file or directory
    at java.lang.UNIXProcess.forkAndExec(Native Method)
    at java.lang.UNIXProcess.<init>(UNIXProcess.java:247)
    at java.lang.ProcessImpl.start(ProcessImpl.java:134)
at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029)

1 Ответ

1 голос
/ 02 октября 2019

Оказывается, у меня 2 пути неправильно настроены в .bashrc

Правильный путь: 

export PYTHONPATH=/home/ec2-user/anaconda/bin/python
export PYSPARK_PYTHON=/home/ec2-user/anaconda/bin/python
...