В настоящее время я загружаю данные из файла csv в облачном хранилище в BigQuery с помощью облачной функции.
Однако облачные функции имеют ограничение по времени ожидания, и я ожидаю, что эти файлы станут достаточно большими, чтобы вызвать проблемы.
Кроме того, вставка в большой запрос ограничена 10mb/insert_rows.
Что еще можно использовать вместо облачных функций, чтобы это работало?
Нужно, чтобы он запускался при переносе файла в облачное хранилище.