AWS Glue job для получения данных из RDS в S3 - PullRequest
Новая
       50

AWS Glue job для получения данных из RDS в S3

1 голос
/ 20 мая 2019

Я запускаю сценарий ETL для получения таблицы из RDS в s3, но сценарий ETL все пути терпят неудачу, и когда я просматриваю журнал ошибок, он показывает мне ошибку 

Traceback (most recent call last):
File "script_2019-05-20-04-16-28.py", line 40, in <module>
datasink4 = glueContext.write_dynamic_frame.from_options(frame = dropnullfields3, connection_type = "s3", connection_options =
{
    "path": "s3://sd-datalake/data/enriched_archive/enriched/rm/metrics_archive/"
}
, format = "parquet", transformation_ctx = "datasink4")
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/PyGlue.zip/awsglue/dynamicframe.py", line 585, in from_options
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/PyGlue.zip/awsglue/context.py", line 193, in write_dynamic_frame_from_options
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/PyGlue.zip/awsglue/context.py", line 216, in write_from_options
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/PyGlue.zip/awsglue/data_sink.py", line 32, in write
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/PyGlue.zip/awsglue/data_sink.py", line 28, in writeFrame
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/py4j-0.10.4-src.zip/py4j/java_gateway.py", line 1133, in __call__
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/pyspark.zip/pyspark/sql/utils.py", line 63, in deco
File "/mnt/yarn/usercache/root/appcache/application_1558325358249_0001/container_1558325358249_0001_01_000001/py4j-0.10.4-src.zip/py4j/protocol.py", line 319, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o126.pyWriteDynamicFrame.
: java.io.IOException: Failed to delete key: data/enriched_archive/enriched/rm/metrics_archive/_temporary
at com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem.delete(S3NativeFileSystem.java:689)
at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.delete(EmrFileSystem.java:296)

Я подозреваю, что проблема может быть в том, что у меня нет таблицы в Афинах из-за этого, но я просто хочу, чтобы одна моя таблица RDS была заархивирована в s3, и для этого я запустил ETL, но она всегда показывает вышеуказанную ошибку.

...