Лучшие практики по ограничению вывода графов для отладки Bonobo-ETL - PullRequest
Новая
       52

Лучшие практики по ограничению вывода графов для отладки Bonobo-ETL

0 голосов
/ 09 ноября 2018

Я обнаружил, что я добавляю много вызовов Limit (1) к графу при разработке, потому что я не хочу, чтобы узлы работали во всей очереди, это всего лишь небольшой пример: 

graph = bonobo.Graph()
graph.add_chain(
    extract_mail_list,
    bonobo.Limit(1),
    extract_cc_recipients,
    select_male_name_filter,
    bonobo.Limit(1),
    transform_mail,
    load_mail
)

Даже если я установлю стратегию «наивной» для выполнения синхронизации, узлы будут обрабатывать всю очередь, прежде чем двигаться дальше, что является неоптимальным для отслеживания выполнения графа в отладчике.

Есть ли лучший способ, как правило, ограничивать все узлы одним выходным сигналом или, что еще лучше, заставить поток выполнения проходить через весь граф для каждого элемента, чтобы мне не приходилось все время вставлять и удалять операторы Limit?

...