Для этих типов сценариев обычно рекомендуется использовать инструмент для планирования и согласования рабочей нагрузки в вашей архитектуре. Google Cloud предоставляет Cloud Composer , управляемую версию Airflow , для решения именно этого варианта использования. Можно запланировать DAG (ориентированный ациклический граф) в Composer для запуска задания Dataflow, а затем, в случае успешного выполнения задания, выполнить дополнительные задачи для очистки файла или запустить следующий процесс.
Пример DAG
Для начала я рекомендую проверить документацию Cloud Composer , а также Примеры Cloud Composer , которые похожи на ваш вариант использования.