Google Cloud: выбор правильного варианта хранения

Question

Я занимаюсь разработкой распределенного приложения на Python.Приложение имеет два основных пакета, Пакет A и Пакет B, которые работают отдельно, но взаимодействуют друг с другом через очередь.Другими словами, Пакет A генерирует некоторые файлы и помещает их в очередь (помещает) в очередь, а Пакет B удаляет (выталкивает) файлы из очереди в порядке поступления и обрабатывает их.Пакеты A и B будут развернуты в Google Cloud в качестве док-контейнеров.

Мне нужно спланировать, как лучше всего хранить файлы и очередь.Файлы и очередь могут храниться и использоваться временно.

Я думаю, что мои варианты - это облачные корзины или хранилище данных Google, но я не знаю, как выбрать и что может быть лучшим вариантом.Наилучшим вариантом будет решение, которое будет иметь низкую стоимость, надежно и легко с точки зрения разработки.

Любые предложения приветствуются ... Спасибо!

Answer 1

Облачное хранилище Google звучит как правильный вариант для вас, потому что он поддерживает большие файлы.Вам не нужны функции, предоставляемые хранилищем данных и т. Д., Такие как запросы к другим полям.

Если вам нужно обработать файл только один раз, при его первой загрузке вы можете использовать GCS pubsub уведомления и запускать ваш процессор из pubsub.

если вам нужны более сложные задачи, например, одна задача может отправлять несколько дочерних задач, которые все работают с одним файлом, то, вероятно, лучше использовать отдельную систему задач, такую ​​как сельдерей и передайте URL-адрес GCS в определении задачи.