Местная работа не может найти регион - PullRequest
Новая
       3

Местная работа не может найти регион

1 голос
/ 28 мая 2020

Я пытаюсь запустить задание AWS GLUE локально из контейнера docker и получаю следующую ошибку: 

    File "/glue/script.py", line 19, in <module>
        job.init(args['JOB_NAME'], args)
      File "/glue/aws-glue-libs/PyGlue.zip/awsglue/job.py", line 38, in init
      File "/glue/spark-2.4.3-bin-spark-2.4.3-bin-hadoop2.8/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
      File "/glue/spark-2.4.3-bin-spark-2.4.3-bin-hadoop2.8/python/lib/pyspark.zip/pyspark/sql/utils.py", line 63, in deco
      File "/glue/spark-2.4.3-bin-spark-2.4.3-bin-hadoop2.8/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
    py4j.protocol.Py4JJavaError: An error occurred while calling z:com.amazonaws.services.glue.util.Job.init.
    : com.amazonaws.SdkClientException: Unable to load region information from any provider in the chain

Похоже, он не может найти регион, но у меня есть сохранил мои файлы конфигурации и учетных данных по обычному пути внутри контейнера, чтобы он мог найти их оттуда. Или я должен попытаться объявить регион из файла сценария?

Вот первые несколько строк задания, в настоящее время оно не выполняется на последней строке: 

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from pyspark.sql.functions import *
from awsglue.dynamicframe import DynamicFrame## @type: DataSource
import datetime
import boto3

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

1 Ответ

1 голос
/ 28 мая 2020
• 1000 Не очень уверен в этой ошибке, но если вы хотите использовать изображение, я предоставляю ссылку на ту же

статью: https://towardsdatascience.com/develop-glue-jobs-locally-using-docker-containers-bffc9d95bd1

Github: https://github.com/jnshubham/aws-glue-local-etl-docker

Я не сталкиваюсь с проблемой региона, используя это, проверьте, помогает ли это вам.

...