Я искал и просматривал множество статей в Интернете и, наконец, нашел возможное решение в:
Я не могу заставить работать --py-файлы в Spark
Я следовал за наиболее проголосовавшим ответом в этой ссылке, но он не работает для меня.И этой теме уже 3 года, и я думаю, что я должен представить новый вопрос.
Итак, что я сделал в этом ответе:
- Соберите мои зависимости python в .zip:
pip install -t dependencies -r requirements.txt
cd dependencies
zip -r ../dependencies.zip .
А затем загрузите его вместе с другими файлами Python в мое ведро s3.
В
my_job.py добавьте следующую строку, чтобы добавить мой python dependencies.zip в PYTHONPATH:
sc.addPyFile("dependencies.zip")
Обратите внимание, что эта строка добавляется в самом начале моего кода Python.
Отправить мою работу Spark.Ну, в ссылке он использовал spark-submit, в моем случае я использую curl через Apache Livy после ssh для моего AWS EMR master:
curl -X POST --data '{"file": "s3://my-bucket/src/my_job.py", "pyFiles": ["s3://my-bucket/src/global_settings.py", "s3://my-bucket/src/sys_init.py", "s3://my-bucket/src/dependencies.zip"]}' -H "Content-Type: application/json" http://ec2-1-23-456-789.compute-1.amazonaws.com:8998/batches
Теперь из журнала Livy я получилисключение Java:
java.io.FileNotFoundException: File file:/dependencies.zip does not exist
Полная трассировка ошибок выглядит следующим образом:
Traceback (most recent call last):
File "/mnt/tmp/spark-bfbaa559-69b8-48cb-9287-c30f73ab6d4a/my_job.py", line 1, in <module>
from global_settings import *
File "/mnt/tmp/spark-bfbaa559-69b8-48cb-9287-c30f73ab6d4a/global_settings.py", line 28, in <module>
sc.addFile('dependencies.zip')
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/context.py", line 898, in addFile
File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o53.addFile.
: java.io.FileNotFoundException: File file:/dependencies.zip does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:640)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:866)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:630)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:452)
at org.apache.spark.SparkContext.addFile(SparkContext.scala:1544)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:282)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
Полностью не знаю, почему spark не может найти dependencies.zip, в то время как два другихФайлы Python global_settings.py и sys_init.py.
Также обратите внимание, что dependencies.zip составляет 48 МБ.Имеет ли значение размер файла?Я не думаю, что для AWS EMR является проблемой чтение 48 МБ файла из AWS S3.Они находятся в одном регионе и под одним и тем же VPC.
И мои требования.txt:
pandas
sqlalchemy
boto3
Пожалуйста, помогите.Спасибо.