Загрузка данных, полученных по электронной почте, в хранилище данных - PullRequest
Новая
       23

Загрузка данных, полученных по электронной почте, в хранилище данных

0 голосов
/ 06 января 2020

Я собираюсь еженедельно получать по электронной почте csv-файлы данных от поставщика, мы используем Outlook. Я хочу загрузить вложения в наше хранилище данных - Google BigQuery.

В поисках самого простого способа сделать это я нашел Простую службу электронной почты от Amazon, которая, похоже, может автоматически сохранять электронную почту и вложения в хранилище. Это было бы здорово ... если бы только это было на Google Cloud Platform.

Есть ли GCP-эквивалент? Или, если нет, существует ли стандартный подход к загрузке файлов данных, полученных по электронной почте, на склад?

1 Ответ

1 голос
/ 06 января 2020

Это то, что вы ищете, это App Engine, который дает вам возможность прослушивать входящие электронные письма через Mail API. Вы можете читать и записывать вложения в корзину GCS , указав корзину во время записи в облачном хранилище. 

from google.appengine.api import app_identity
bucket_name = os.environ.get('BUCKET_NAME',app_identity.get_default_gcs_bucket_name())

Для обработки получения сообщений электронной почты вы связываете электронную почту адреса с обработчиками сценариев в конфигурации вашего приложения, затем включите обработчики в код приложения.

Пожалуйста, обратитесь к официальной документации и прочитайте о квотах и ​​ограничениях , например, максимальный размер входящих почтовых сообщений включая вложения размером 31,5 МБ.

...