На днях я потратил добрых пять или шесть часов, пытаясь распараллелить какую-то работу в Луиджи, основываясь на методе, использованном здесь: http://rjbaxley.com/posts/2016/03/13/parallel_jobs_in_luigi.html
Проблема, с которой я столкнулся, заключалась в том, что я продолжал получать исключение luigi.task_register.TaskClassAmbigiousException, которое сводило меня с ума. В конце концов я бросил luigi.auto_namespace (scope = name ) наверх моего пакета, и все начало работать, но я не знаю почему. Грубо говоря, у меня было 3 задания:
TaskA - ничего не требуется
предоставил текстовый файл с путями
TaskB - требуются только входные параметры p1 и p2
предоставляет файл .csv
TaskC - требуется вывод из задачи A
дает один TaskB для каждой пары путей из вывода A
завершается, когда завершены все заданные задачи.
Если бы кто-нибудь мог нарисовать, как я должен был сделать это правильно, вместо взломанной ерунды, которую я имею сейчас, я был бы очень благодарен