Используйте pyarrow в Glue pythonshell - ModuleNotFoundError: Нет модуля с именем 'pyarrow.lib' - PullRequest
Новая
       46

Используйте pyarrow в Glue pythonshell - ModuleNotFoundError: Нет модуля с именем 'pyarrow.lib'

0 голосов
/ 03 марта 2020

Создает файл egg и whl для pyarrow и помещает его в s3 для вызова этого в задании pythonshell. Получено это сообщение:

Код задания: 

import pyarrow
raise

Ошибка, та же структура для whl: 

Traceback (most recent call last):
  File "/tmp/runscript.py", line 118, in <module>
    runpy.run_path(temp_file_path, run_name='__main__')
  File "/usr/local/lib/python3.6/runpy.py", line 263, in run_path
    pkg_name=pkg_name, script_name=fname)
  File "/usr/local/lib/python3.6/runpy.py", line 96, in _run_module_code
    mod_name, mod_spec, pkg_name, script_name)
  File "/usr/local/lib/python3.6/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/tmp/glue-python-scripts-e67xuz2j/genos.py", line 1, in <module>
  File "/glue/lib/installation/kanna-0.1-py3.6.egg/pyarrow/__init__.py", line 49, in <module>
    from pyarrow.lib import cpu_count, set_cpu_count
ModuleNotFoundError: No module named 'pyarrow.lib'

PD: Не удается найти lib.py или lib папка в локальных файлах.

...