Рекомендуемые шаблоны для объединения потоков Metaflow - PullRequest
Новая
       17

Рекомендуемые шаблоны для объединения потоков Metaflow

0 голосов
/ 11 апреля 2020

Я написал несколько потоков мета-потоков для обработки последовательности следующего поколения. Они достаточно сложны и независимы, поэтому я не решаюсь объединить их в один поток. Существуют ли рекомендуемые и проверенные схемы объединения потоков? Например, возможно ли вызвать поток изнутри потока, сохранив функциональность переменных параметра? Могут быть преимущества иерархического структурирования, например, возможность разбивать и объединять результирующие наборы всего потока.

Если создать простую последовательную пару потоков (ниже), второй поток игнорируется. 

from metaflow import FlowSpec, Parameter, step

class Flow1(FlowSpec):
   readtype = Parameter('ftype', default='type1')
   @step
   def start(self):
       self.params = range(3)
       self.next(self.end)
   @step
   def end(self):
       pass

class Flow2(FlowSpec):
   readtype = Parameter('ftype', default='type2')
   @step
   def start(self):
       self.params = range(3)
       self.next(self.end)
   @step
   def end(self):
       pass    

if __name__ == '__main__':
   Flow1()
   Flow2()
...