Я строю трубопровод ML в Kubeflow, и у меня есть вопрос.Есть ли что-нибудь из коробки, что позволяет мне сконфигурировать мой конвейер, чтобы шаг не был перезапущен, если его вывод существует?Я думал о способах сделать это вручную (либо проверяя существующие выходные данные, когда я компилирую конвейер, либо имея начальный шаг, который возвращает список шагов для выполнения, либо вручную настраивая, какие шаги запускать в качестве входного параметра)но я не могу найти нативный способ справиться с этим.
Обычным вариантом использования для меня будет повторение шага модели без повторной предварительной обработки данных;но без необходимости иметь конкретный конвейер «разработки модели», который отличался бы от более общего продукта, который включал бы этап предварительной обработки данных.Или, может быть, я повторяю этап оценки, и мне даже не нужна переподготовка, но я все равно хотел бы использовать тот же конвейер.Прямо сейчас коллеги используют несколько конвейеров, каждый из которых запускается на отдельном шаге, чтобы обойти это.
Я подхожу к этому с точки зрения сокращения карты, где это тривиально - фреймворк автоматически определяет, какиевыходные данные присутствуют и не перестраивают их по умолчанию, но легко дают вам возможность перестроить некоторые или все из них.Может быть, это смещает мой способ работы с kubeflow?
Любая помощь приветствуется!