Насколько я понимаю, конечные точки Dev в AWS Glue можно использовать для итеративной разработки кода, а затем развертывания его в задании Glue. Я считаю это особенно полезным при разработке заданий Spark, потому что каждый раз, когда вы запускаете задание, запуск фонового кластера Hadoop занимает несколько минут. Однако при использовании оболочки Python в Glue вместо Spark наблюдается несоответствие. Import pg
не работает в конечной точке разработчика, которую я создал с помощью записной книжки Sagemaker JupyterLab Python, но работает в AWS Glue, когда я создаю задание с использованием оболочки Python. Разве в конечной точке dev не должно быть таких же библиотек, как в Glue? Какой смысл иметь конечную точку dev, если вы не можете воспроизвести один и тот же код в обоих местах (конечная точка dev и задание Glue)?