Можно ли создать классификатор клея AWS, который может преобразовать файл CSV в разделитель трубы - PullRequest
Новая
       26

Можно ли создать классификатор клея AWS, который может преобразовать файл CSV в разделитель трубы

0 голосов
/ 12 сентября 2018

Я хотел бы преобразовать ежемесячный фид для преобразования из csv в трубу с разделителями, используя AWS Glue Crawler.Можно ли создать классификатор, который может преобразовать CSV-файл в разделитель каналов (с помощью Grok или чего-то еще), и ежемесячно запланированный сканер может создать каталог Glue

1 Ответ

0 голосов
/ 12 сентября 2018

Glue Crawler используется для заполнения каталога данных клея AWS таблицами, поэтому вы не можете преобразовать свой файл из формата csv в канал с разделителями, используя только эту функцию.Правильные шаги должны быть такими:

  1. Создание двух таблиц в каталоге данных Glue.Один для файла в формате CSV, а другой для формата с разделителями.Чтобы каталогизировать исходную таблицу, вы можете использовать Glue Crawler.
  2. Создание связующего задания для передачи данных между этими таблицами.

Эта статья не относится точно к вашей проблеме, но вы можетеПосмотрите, как эти шаги должны выглядеть:

https://aws.amazon.com/blogs/big-data/build-a-data-lake-foundation-with-aws-glue-and-amazon-s3/

У вас также есть учебники в консоли Glue (внизу в левом меню)

...