AWS клей - преобразование структуры в карту - PullRequest
0 голосов
/ 23 января 2020

У меня есть программа-обходчик, которая сканирует json файлы, в результате чего получается таблица Athena, подобная этой:

|field1|field2|        field3         |
---------------------------------------
|   a  |   1  |  {f1=10,f2=20,f3=30}  |

Сканер интерпретирует field3 как структуру, пока что все хорошо.

У меня тогда есть работа, которая превращает этот стол в паркет. Однако содержимое поля 3 является переменным (но есть только один уровень вложенности), поэтому я хотел бы изменить это на карту.

Я могу определить таблицу с правильным определением столбца `MAP ', но не могу найдите где-нибудь примеры (Python или Scala), которые преобразуют структуру в карту.

Нужно ли создавать новую DynamicframeCollection из структуры и затем вставлять ее заново?

Редактировать: я добавил эту картинку, чтобы лучше проиллюстрировать, что я пытаюсь сделать.

AWS Склеить структуру для отображения

Я хочу преобразовать текстовый столбец в таблице «Источник задания» из структуры в MAP, когда он сохраняется в паркете, чтобы затем его можно было просканировать в таблицу внизу

...