Как загрузить файл из облачного хранилища в память

Question

У меня есть конечные пользователи, которые будут загружать CSV-файл в корзину, которая затем будет загружена в BigQuery.Проблема в том, что содержание данных ненадежно.то есть он содержит поля со свободным текстом, который может содержать перевод строки, дополнительные запятые, недопустимые форматы даты и т. д.

У меня есть сценарий python, который предварительно обработает файл и запишет новый со всеми исправленными ошибками.

Мне нужно иметь возможность автоматизировать это в облаке.Я думал, что смогу загрузить содержимое файла (оно очень маленькое) в память и обработать записи, а затем записать их обратно в Bucket.Я не хочу обрабатывать файл локально.

Несмотря на длительный поиск, я не могу найти, как загрузить файл из корзины в память и затем записать его обратно.

Может кто-нибудьпомощь?

Answer 1

Я считаю, что вы ищете Облачные функции Google .Вы можете установить облачную функцию на , запускаемую при загрузке в корзину GCS , и использовать свой код Python в той же облачной функции для обработки .csv и загрузки его в BigQuery,однако имейте в виду, что поддержка облачных функций в Python 3.7.1 в настоящее время находится в стадии бета-тестирования.