Как загрузить только файлы, которые начинаются со значения и заканчиваются другими значениями? - PullRequest
0 голосов
/ 19 февраля 2020

Я пытаюсь использовать aws s3 cp s3a://path/to/directory/dt=2019* ./home/directory/ --recursive. Это на aws очевидно, но я не хочу, чтобы какие-либо файлы паркета приходили из других лет, таких как 2017 и 2018 или 2020. Мне нужны только данные за 2019 год, что означает, что файл будет dt=2019 плюс -01-01, -01-02, -01-03, ... et c.

Как мне это сделать?

1 Ответ

1 голос
/ 19 февраля 2020

Согласно документации здесь необходимо указать аргументы exclude и include:

aws s3 cp s3://path/to/directory/ ./home/directory/ --recursive --exclude "*" --include "dt=2019*"
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...