Не удается импортировать SQLAlchemy и Py mysql в AWS Glue Python Shell-скрипт - PullRequest
0 голосов
/ 06 февраля 2020

У меня есть скрипт Python, который импортировал 3 библиотеки:

import pymysql
import pandas as pd
from sqlalchemy import create_engine

Я планирую запустить Python Shell на AWS Glue. После этой и этой do c страниц я создал setup.py:

from setuptools import setup

setup(name="pylibmodule",
      version="0.1",
      packages=[],
      install_requires=['sqlalchemy==1.3.9','pandas==0.25.3','pymysql==0.9.3']
  )

Я запустил python setup.py bdist_wheel, поместил получившийся pylibmodule-0.1-py3-none-any.whl файл в корзину S3, а затем укажите местоположение корзины в настройке Glue Job. Когда я запустил скрипт задания, он выдал ошибку.

После расследования я обнаружил, что успешно импортировал модуль pandas, но не смог импортировать sqlalchemy и py mysql.

ModuleNotFoundError: No module named 'sqlalchemy'
ModuleNotFoundError: No module named 'pymysql'

Что я делаю не так?

1 Ответ

0 голосов
/ 07 февраля 2020

Этим утром я снова запустил работу, не меняя ничего в настройках и сценарии. Это внезапно работает. Я думаю, что ошибка, которую я получил прошлой ночью, произошла из-за остатка кеша на конце Glue.

...