Программа Clue Crawler не может исключить файлы .csv.metadata - PullRequest
0 голосов
/ 19 февраля 2019

У меня есть S3-местоположение s3://bucket-name/folder-name/, которое состоит из подпапки, имя которой генерируется динамически, и содержит фразу _Top10InvoiceIds.Эта подпапка состоит из .csv и .csv.metadata файлов.Я использую сканер клея, чтобы сканировать только файлы CSV и просматривать их в Афине.Но я не могу исключить файлы .csv.metadata.Я перепробовал все возможные шаблоны регулярных выражений в качестве значения glob.

Некоторые из моих попыток были:

  1. *_Top10InvoiceIds/ *.metadata
  2. *_Top10InvoiceIds/ * .* metadata
  3. *_Top10InvoiceIds/ *. *.metadata
  4. *_Top10InvoiceIds/ * .csv.metadata
  5. ** .metadata
  6. * .metadata
  7. * .csv.metadata
  8. * /*.metadata

Было быбыло бы здорово, если бы кто-нибудь помог мне разобраться в схеме или предложил другой способ сделать то же самое.

1 Ответ

0 голосов
/ 19 февраля 2019

Попробуйте использовать **/*.csv.metadata или **/*.metadata шаблон исключения

...