Как создать внешнюю таблицу в красном смещении, где местоположение файла будет меняться каждый день? - PullRequest
0 голосов
/ 12 марта 2019

Мы планируем получать данные из S3 другого аккаунта AWS, используя спектр красного смещения AWS.Но источник сообщил, что ключ корзины будет меняться каждый день, и самые последние данные будут доступны в расположении ключа корзины с последней отметкой времени.Кто-нибудь может подсказать, как лучше создать эту внешнюю таблицу?

1 Ответ

0 голосов
/ 26 марта 2019

Внешняя таблица в Spectrum может быть настроена так, чтобы указывать на префикс в S3 (вроде папки в обычной файловой системе), или вы можете использовать файл манифеста, чтобы указать точный список файлов, из которых должна состоять таблица (они могутдаже находятся в разных сегментах s3).

Таким образом, вам придется создавать таблицу каждый день и указывать ее в правильном месте.Если все файлы заканчиваются одним и тем же префиксом s3, вам придется использовать файл манифеста, чтобы указать текущий.

подсказка, не имеющая прямого отношения к вопросу: Что вы также можете сделать, это ежедневно создавать таблицы с отметкой времени в имени и каждый день создавать представление, указывающее на последнюю таблицу,Таким образом, будет легко взглянуть на исторические данные, или вы используете эти данные, например, для.машинное обучение - прикрепите ввод к неизменяемой версии данных, чтобы вы могли воспроизводимо извлекать обучающие данные - но это, конечно, зависит от ваших требований.

...