ошибка импорта для awsglue.context import GlueContext - PullRequest
Новая
       16

ошибка импорта для awsglue.context import GlueContext

1 голос
/ 07 апреля 2020

Я недавно установил python 3.7 и пытаясь поиграться с pyspark, мне нужно создать 

    glueContext = GlueContext(SparkContext.getOrCreate())
    sparkSession = glueContext.spark_session

, для которого при импорте библиотеки просто не удается найти динамический кадр

Когда Я пытаюсь импортировать из awsglue.context import GlueContext Я получаю следующую ошибку 

from awsglue.context import GlueContext
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.7/site-packages/awsglue/__init__.py", line 13, in <module>
    from dynamicframe import DynamicFrame
ModuleNotFoundError: No module named 'dynamicframe'

, даже если эта ошибка не выполняется 

from awsglue.transforms import *
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.7/site-packages/awsglue/__init__.py", line 13, in <module>
    from dynamicframe import DynamicFrame
ModuleNotFoundError: No module named 'dynamicframe'

Модуль Pyspark, похоже, не имеет проблем с импортом from pyspark.context import SparkContext

Нет необходимой документации по настройке необходимых библиотек.

Структура папок в /usr/local/lib/python3.7/site-packages/awsglue

├── __init__.py
├── __pycache__
│   ├── __init__.cpython-37.pyc
│   ├── context.cpython-37.pyc
│   ├── data_sink.cpython-37.pyc
│   ├── data_source.cpython-37.pyc
│   ├── functions.cpython-37.pyc
│   ├── gluetypes.cpython-37.pyc
│   ├── job.cpython-37.pyc
│   └── utils.cpython-37.pyc
├── context.py
├── data_sink.py
├── data_source.py
├── devutils.py
├── dynamicframe.py
├── functions.py
├── gluetypes.py
├── job.py
├── transforms
│   ├── __init__.py
│   ├── __pycache__
│   │   ├── __init__.cpython-37.pyc
│   │   ├── apply_mapping.cpython-37.pyc
│   │   ├── collection_transforms.cpython-37.pyc
│   │   ├── dynamicframe_filter.cpython-37.pyc
│   │   ├── dynamicframe_map.cpython-37.pyc
│   │   ├── errors_as_dynamicframe.cpython-37.pyc
│   │   ├── field_transforms.cpython-37.pyc
│   │   ├── relationalize.cpython-37.pyc
│   │   ├── resolve_choice.cpython-37.pyc
│   │   ├── transform.cpython-37.pyc
│   │   ├── unbox.cpython-37.pyc
│   │   └── unnest_frame.cpython-37.pyc
│   ├── apply_mapping.py
│   ├── collection_transforms.py
│   ├── drop_nulls.py
│   ├── dynamicframe_filter.py
│   ├── dynamicframe_map.py
│   ├── errors_as_dynamicframe.py
│   ├── field_transforms.py
│   ├── relationalize.py
│   ├── resolve_choice.py
│   ├── transform.py
│   ├── unbox.py
│   └── unnest_frame.py
└── utils.py
...