Автоматизируйте загрузку файлов, хранящихся локально, в облачное хранилище с помощью gsutil

Question

Я новичок в GCP, я пытаюсь создать поток ETL, который будет загружать данные из файлов в BigQuery. Мне кажется, что лучшим решением было бы использовать gsutil. Шаги, которые я вижу сегодня:

1. (готово) Загрузка ZIP-файла с сервера SFTP на виртуальную машину
2. (готово) Распаковка файла
3. Загрузка файлов с виртуальной машины в облачное хранилище
4. (готово) Автоматическая загрузка файлов из облачного хранилища в BigQuery

Шаги 1 и 2 будут выполняться в соответствии с расписанием, но я бы хотел, чтобы шаг 3 был ориентирован на события. Поэтому, когда файлы копируются в определенную папку, gsutil отправит их в указанное место в облачном хранилище. Есть идеи, как это можно сделать?

Answer 1

Предполагая, что вы работаете на виртуальной машине Linux, вы можете проверить inotifywait, , как указано в этом вопросе - вы можете запустить его как фоновый процесс, чтобы попробовать его, напримерbash /path/to/my/inotify/script.sh &, а затем установите его в качестве демона, как только вы протестируете его и получите что-то работающее по своему вкусу.