Моя таблица BigQuery загружается с несколькими пакетными заданиями, что приводит к созданию нескольких записей в журнале в стеке драйвера. Я хочу использовать эти записи журнала для запуска задания потока данных, отправив их в раздел pubsub, а затем с помощью облачной функции запустить задание потока данных.
Проблема, у нас более 1 пакетного задания и, следовательно, более 1 журналазаписи, идущие в тему pubsub и облачная функция, пытающаяся снова и снова запускать одно и то же задание потока данных.
Мне нужно решение, которое запускает задание потока данных один раз, когда все пакетные задания завершают загрузку данных в таблицу bigQuery. (Количество пакетных заданий не является постоянным)