Предотвратить одну неудачную подзадачу, не выполнив все задачи во Flyte

Question

У меня есть dynamic_task, с которого начинается число python_tasks. Тем не менее, как только один из python_tasks выходит из строя, другие, которые все еще работают, тоже будут работать. Это по замыслу? Есть ли способ изменить это поведение, чтобы другие задачи могли завершиться без сбоев?

Answer 1

Идея состоит в том, что частичные сбои не допускаются в группе передачи данных. Если какой-то узел выходит из строя, то по определению данные являются частичными.

Но для динамических c задач массива Flyte предлагает специальное условие (фактически плагин Array tasks), которое позволяет пользователям предоставлять соотношение приемлемых успешных задач.

Answer 2

Это задумано, как средство для экономии ресурсов, но оно настраивается. Предположительно, динамические задачи c связаны друг с другом, и последующие задачи потребуют вывода всех из них. Поэтому, если произойдет сбой, поведение по умолчанию - остальные.

Если вы хотите это изменить, создайте задачу динамического c с плавающей точкой в ​​качестве аргумента в декораторе: https://github.com/lyft/flytekit/blob/d4cfedc4c580f08bf904e6e474a0b948a4608737/flytekit/common/tasks/sdk_dynamic.py#L84