Таблицы каталога данных как источники - PullRequest
0 голосов
/ 11 октября 2019

Я пытаюсь создать Crawler для сканирования файлов Parquet S3 Bucket и обновления информации о разделах существующей таблицы в Glue Data Catalog.

Вот точная особенность, о которой я говорю. https://aws.amazon.com/about-aws/whats-new/2019/05/aws-glue-crawlers-now-support-existing-data-catalog-tables-as-sources/

Конечно, работает с консоли, однако я не нахожу опцию для предоставления имени таблицы из DataCatalog при создании AWS :: Glue :: Crawler с использованием облачной информации. Это функция, которая не добавлена ​​в облачную информацию, или я не могу найти ее в документации.

Есть ли альтернативы?

1 Ответ

0 голосов
/ 11 октября 2019

Принимает имя папки в s3 bucket как имя таблицы. Вы можете добавить префикс, используя TablePrefix. Но на этом этапе невозможно явно указать имя таблицы.

...