Я хочу сгенерировать формат файла avro из данных, сохраненных (файл xml) на aws s3.
Чтобы сгенерировать файл avro и сохранить его на aws s3, я создал задание на клей и запуск его дает мне следующую ошибку:
Type : Spark
Python version : 3
Spark version : 2.4
ETL language : python
ERROR [task-result-getter-1] scheduler.TaskSetManager (Logging.scala:logError(70)) - Task 6 in stage 4.0 failed 4 times; aborting job
An error occurred while calling o96.pyWriteDynamicFrame.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 6 in stage 4.0 failed 4 times, most recent failure: Lost task 6.3 in stage 4.0 (TID 44, ip-172-31-3-31.ap-south-1.compute.internal, executor 1): org.apache.avro.SchemaParseException: Can't redefine: root.dctSys__1
Однако есть 20 файлов, которые были сгенерированы с той же схемой в выводе.