Имена столбцов возвращаются строчными в aws клей - PullRequest
Новая
       5

Имена столбцов возвращаются строчными в aws клей

0 голосов
/ 19 апреля 2020

Я новичок в AWS Glue и создал задание через сканер, который указывает исходный целевой CSV-файл в S3-корзину.

CSV-файл содержит следующие столбцы: 

userId  jobTitleName    firstName   lastName    preferredFullName   employeeCode    region

Теперь во время выполнения задания выдается следующая ошибка Key error: userid' not exist. Как сообщается, проблема выглядит чувствительной к регистру. так что согласно клеевому документу я создал отображение для схемы 

mappingsSchema=[('userid', 'integer', 'userId', 'integer'),
                 ('jobtitlename', 'string', 'jobTitleName', 'string'),
                 ('firstname', 'string', 'firstName', 'string'),
                 ('lastname', 'string', 'lastName', 'string'),
                 ('preferredfullName', 'string', 'preferredFullname', 'string'),
                 ('employeecode', 'string', 'employeeCode', 'string'),
                 ('region', 'string','region', 'string')]
mapped_dynamic_frame_read=dynamic_frame_read.apply_mapping(mappings = mappingsSchema, case_sensitive = True, transformation_ctx = "tfx")
##And converting to the spark df
df = mapped_dynamic_frame_read.toDF()

Тем не менее я получаю ту же самую упомянутую ошибку. Как можно решить эту проблему?

1 Ответ

0 голосов
/ 20 апреля 2020

Hi @Emerson. Проблема заключалась в отображениях, в которых имена столбцов были неверно указаны в определении схемы. Теперь все исправлено и работает нормально .. Спасибо

...