Создание таблицы athena из файлов в S3 с помощью AWS Glue

Question

Я пытаюсь создать таблицу Athena из файла в корзине S3, используя AWS Glue. Я относительно новичок в AWS, и поэтому даже толчок в правильном направлении может помочь.

Проблема в том, что я не могу разобрать содержимое файла в корзине S3.

Я попытался использовать стандартные сканеры, предоставляемые AWS, а также написать собственный классификатор (хотя для этого все еще требуется, чтобы файл корзины S3 был в формате JSON, XML или Parquet).

Файл вмой контейнер S3 содержит следующий код

{:description "A lovely journey",
 :name "Train",
 :uuid "00a0a0a0bb",
 :code 'foo-code'}
{:description "A fast ride",
 :name "Plane",
 :uuid "aaa333aaa",
 :code 'foo-code'}

Я хочу закончить с таблицей, содержащей две строки (для поезда и самолета) и 4 столбца ('description', 'name', 'uuid'и 'code').

Будем весьма благодарны за любые предложения по автоматическому преобразованию файла в таблицу athena.

Answer 1

Это похоже на Clojure EDN. Возможно, вам повезет в написании задания Glue ETL в Scala с использованием библиотек Clojure для чтения файла, но, к сожалению, у Афины не получится прочитать его, не преобразовав его в JSON.