Допустим, у меня есть тысячи файлов размером 1 ТБ, которые необходимо вставить в базу данных.Эти файлы хранятся в облачном хранилище Google.Как я могу создать функцию, которая сохранит эти файлы в моей базе данных?Насколько я понимаю, облачные функции имеют ограничение в размере 2 ГБ (памяти), поэтому, какой будет способ «потоковой передачи» данных из GCS через облачную функцию в мою базу данных.Вот как я обычно это делаю:
with open('1TBFile.csv', 'r') as f:
for line in f:
self.cursor.execute('insert into mytable''')
Как бы я это сделал в облачных функциях - чтобы «загрузить файл» в мою локальную систему или аналогичный.Вот пример, где кажется, что файл получен в виде большого двоичного объекта для его обработки: https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/functions/imagemagick/main.py.