Я хотел бы настроить оболочку Python как задание ETL. Эта работа будет выполнять базовую c очистку данных.
На данный момент у меня есть скрипт, который выполняется локально. Я хотел бы проверить этот скрипт (или его части). Я попытался настроить конечную точку разработчика, как описано здесь: https://docs.aws.amazon.com/glue/latest/dg/dev-endpoint-tutorial-repl.html
Все прошло хорошо, я могу s sh в машину. Но с этим уроком я получаю оболочку "gluepyspark". И эта оболочка не совместима с библиотекой обработчика данных AWS: https://github.com/awslabs/aws-data-wrangler.
Я хотел бы знать, возможно ли настроить конечную точку dev для тестирования python ракушки. В качестве альтернативы я мог бы также принять рабочий процесс для проверки python заданий оболочки.