У меня есть корзина S3 со всеми данными о моих строках непосредственно (без подпапок). Я создаю каталог данных с помощью AWS Glue. На данный момент у меня есть 1000 таблиц. Но скоро у меня будет намного больше.
Я ищу решение для создания сканеров, способных объединять похожие таблицы.
Пример: у меня 10 таблиц в этом формате
ABCDE.parquet_part0
ABCDE.parquet_part1
ABCDE.parquet_part2
ABCDE.parquet_part3
...
ABCDE.parquet_part9
Как мне получить 1 таблицу в моем каталоге?
Я не хочу делать подпапки для всех видов таблиц, которые у меня есть, например:
MyFolder / table1 /
MyFolder / table2 /
...
В разделе сканера есть раздел для управления исключением.
Я попробовал: [! ABCDE],! ABCDE, [! ABCDE *] и многое другое. Но ничего не работает.
У кого-нибудь есть идея?
Спасибо за вашу помощь