Попытка развернуть сценарий ETL, который извлекает данные из BigQuery через Pandas -gbq и Google Sheets, а затем загружает преобразованное целое обратно в BigQuery. Я хочу развернуть его как приложение Flask в App Engine.
Я использую API Sheets для доступа к Google Sheets и Pandas -gbq для доступа к Google BigQuery. Я увеличил время приложения до 6000 секунд. В то время как я получаю ответ для небольшого числа строк (~ 100), для больших нагрузок он загружает рабочих с увеличением PID, а затем выключается.
Я не получаю сообщение об ошибке, и состояние задания отображает «Выполнено успешно», однако данные не добавляются в правильное местоположение, как это было, когда число строк было небольшим или я выполнял его локально .
Нужно ли больше вычислительной мощности от виртуальной машины или другой способ запустить процесс? Каков наилучший способ развертывания группы таких приложений, запланированных с помощью задания cron для запуска в разное время в неделю?
Было бы сложной задачей переписать все сценарии, поэтому любой метод напрямую Развертывание их через механизм приложений должно помочь.
Заранее спасибо.