Как установить шаблон исключений для таблицы Glue / CatalogDb, используя выражение Glob? - PullRequest
Новая
       18

Как установить шаблон исключений для таблицы Glue / CatalogDb, используя выражение Glob?

0 голосов
/ 28 февраля 2020

У меня есть корзина в S3, которая содержит файлы на основе шаблона <date>_<city>_<other>.csv, например: 

20190302_newyork_flights.csv
20190302_newyork_cabs.csv
20190304_london_cabs.csv
20190304_glasgow_cabs.csv
20190201_miami_flights.csv
etc

Я хотел бы включить в таблицу Glue / CatalogDb только файлы для городов newyork и london независимо от других фрагментов текста. Для этого я прочитал документацию для "разбора глобуса" здесь: https://docs.aws.amazon.com/glue/latest/dg/define-crawler.html#crawler -data-stores-exclude и на основании этого я написал выражение в параметре exclusions json как: 

Type: AWS::Glue::Table
Properties:
  DatabaseName: MyDb
  TableInput:
    Name: MyTable
    TableType: EXTERNAL_TABLE
    Parameters: {
        "skip.header.line.count" : "1",
        other params...
        "exclusions" : "[\"mybucket*!{newyork,london}*.csv\"]"
      }
....

Однако это не работает. Есть идеи, как это исправить?

...