Apache Airflow: отложите запуск параллельных задач в единой группе обеспечения доступности баз данных, чтобы избежать ошибки «ConcurrentAppend» в Redshift

Question

Я хочу запустить несколько параллельных задач в одной группе обеспечения доступности баз данных с некоторой задержкой во времени запуска, чтобы избежать ошибки «ConcurrentAppend» в Redshift. Да, мы можем выполнить некоторые обходные действия в Redshift Target Table, чтобы избежать этого, но в моем случае это не так. Пожалуйста, помогите мне решить эту проблему. (Все задачи, записывающие o / p в одну и ту же таблицу с различным условием где)

            --> Task 1A (Starts at 0s)                       --> Task 1B

Start_Pipeline -> Task 2A (Начинается через 300 с после запуска Task1A) -> Задача 2B

            --> Task 3A (Starts at 300s after Task2A started)--> Task 3B

Answer 1

Вы можете создать пул с 1 слотом, а затем назначить эти параллельные задачи этому пулу. Это заставит их работать последовательно и избегать ConcurrentAppend.

pool X with 1 slot


      / - [task 1A, pool X] - [task 1B, no pool]
start - - [task 2A, pool X] - [task 2B, no pool]
      \ - [task 3A, pool X] - [task 3B, no pool]

task A will run sequentially
task B will run after task A